Оценки в вероятности (softmax)
Почему это важно Классификатор цифр заканчивается 10 сырыми оценками, по одной на цифру. Чтобы читать их как "насколько вероятна каждая цифра", они должны быть положительными и в сумме давать 1.
Маленькие числа
Оценки [2, 1, 0]. Сделайте их положительными через exp: примерно [7.39, 2.72, 1.00]. Разделите на сумму, 11,11: [0.665, 0.245, 0.090]. Они в сумме дают 1, сохраняют порядок, и большая оценка всегда значит большую вероятность.
Softmax: exp каждой оценки, делённая на сумму всех exp. Логиты: сырые оценки, которые идут на вход.
Одна ловушка: прибавление одного и того же числа к каждой оценке ничего не меняет (оно сокращается при делении). Попробуйте [1002, 1001, 1000]: на бумаге тот же ответ, что для [2, 1, 0], но exp(1002) на компьютере переполняется. Вы исправите это в контрольной задаче.
Итоги exp, затем разделить на сумму.
Слова и символы этого урока
- softmax
- exp каждой оценки, делённая на сумму: оценки становятся вероятностями
Напишите softmax(z) для одномерного массива (здесь подойдёт простая версия) и shift_invariant: присвойте True, если прибавление одного и того же числа к каждой оценке оставляет выход прежним, или False, если меняет.
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.