Программа курса Урок 34 из 246 · Модуль 2: Математика и вероятность, только по необходимости
Модуль 2: Математика и вероятность, только по необходимости

Оценки в вероятности (softmax)

Почему это важно Классификатор цифр заканчивается 10 сырыми оценками, по одной на цифру. Чтобы читать их как "насколько вероятна каждая цифра", они должны быть положительными и в сумме давать 1.

Маленькие числа

Оценки [2, 1, 0]. Сделайте их положительными через exp: примерно [7.39, 2.72, 1.00]. Разделите на сумму, 11,11: [0.665, 0.245, 0.090]. Они в сумме дают 1, сохраняют порядок, и большая оценка всегда значит большую вероятность.

Softmax: exp каждой оценки, делённая на сумму всех exp. Логиты: сырые оценки, которые идут на вход.

Одна ловушка: прибавление одного и того же числа к каждой оценке ничего не меняет (оно сокращается при делении). Попробуйте [1002, 1001, 1000]: на бумаге тот же ответ, что для [2, 1, 0], но exp(1002) на компьютере переполняется. Вы исправите это в контрольной задаче.

Итоги exp, затем разделить на сумму.

Слова и символы этого урока
softmax
exp каждой оценки, делённая на сумму: оценки становятся вероятностями
Твоя очередь

Напишите softmax(z) для одномерного массива (здесь подойдёт простая версия) и shift_invariant: присвойте True, если прибавление одного и того же числа к каждой оценке оставляет выход прежним, или False, если меняет.

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.