Градиент softmax, и почему потери его прячут
Почему это важно Softmax сидит внутри внимания, где его градиент нужен сам по себе. В сочетании с перекрёстной энтропией он схлопывается во что-то очень простое, и знание почему позволяет доверять простой версии.
Полный градиент
Для p = softmax(z) каждый выход зависит от каждой оценки. Подталкивание zj двигает pi на pi (1 - pi), умноженное на подталкивание, когда i = j, и на - pi pj, когда i не равно j: повышение одной оценки забирает вероятность у всех остальных. Одной таблицей (якобиан): diag(p) - p pT.
Обратный проход никогда не строит эту таблицу. При данном g = dL/dp градиент по z равен p * (g - (g · p)), поэлементно: каждое pi, умноженное на то, насколько его собственное g превышает взвешенное по вероятностям среднее g.
Маленькие числа
p = [0.5, 0.3, 0.2] и g = [1, 0, 0]. Тогда g · p = 0,5, и dL/dz = [0,5 × 0,5, 0,3 × -0,5, 0,2 × -0,5] = [0,25, -0,15, -0,10]. Элементы в сумме дают 0: прибавление одной и той же величины к каждой оценке ничего не меняет.
Почему перекрёстная энтропия делает это простым
При L = -log py g равно -1 / py у верного класса и 0 в остальных местах. Подставьте это в p * (g - (g · p)), и получится p - onehot(y): формула, которую использовал модуль 3. Простая форма - это тот же градиент, а не сокращение пути.
Итоги Обратный проход softmax: p * (g - g · p). С перекрёстной энтропией сверху: p - onehot.
Слова и символы этого урока
- softmax
- exp каждой оценки, делённая на сумму: оценки становятся вероятностями
- перекрёстная энтропия
- минус логарифм вероятности, отданной правильному ответу
Напишите softmax_jacobian(z) (на входе одномерный массив оценок, на выходе таблица (n, n)) и softmax_backward(z, g) для двумерных массивов (одна строка на пример), используя p * (g - (g · p)) построчно, без построения таблицы. Скрытый тест сверяет оба с подталкиванием и проверяет, что с g от перекрёстной энтропии ответ - p - onehot.
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.