Программа курса Урок 36 из 246 · Модуль 2: Математика и вероятность, только по необходимости
Модуль 2: Математика и вероятность, только по необходимости

Градиент softmax, и почему потери его прячут

Почему это важно Softmax сидит внутри внимания, где его градиент нужен сам по себе. В сочетании с перекрёстной энтропией он схлопывается во что-то очень простое, и знание почему позволяет доверять простой версии.

Полный градиент

Для p = softmax(z) каждый выход зависит от каждой оценки. Подталкивание zj двигает pi на pi (1 - pi), умноженное на подталкивание, когда i = j, и на - pi pj, когда i не равно j: повышение одной оценки забирает вероятность у всех остальных. Одной таблицей (якобиан): diag(p) - p pT.

Обратный проход никогда не строит эту таблицу. При данном g = dL/dp градиент по z равен p * (g - (g · p)), поэлементно: каждое pi, умноженное на то, насколько его собственное g превышает взвешенное по вероятностям среднее g.

Маленькие числа

p = [0.5, 0.3, 0.2] и g = [1, 0, 0]. Тогда g · p = 0,5, и dL/dz = [0,5 × 0,5, 0,3 × -0,5, 0,2 × -0,5] = [0,25, -0,15, -0,10]. Элементы в сумме дают 0: прибавление одной и той же величины к каждой оценке ничего не меняет.

Почему перекрёстная энтропия делает это простым

При L = -log py g равно -1 / py у верного класса и 0 в остальных местах. Подставьте это в p * (g - (g · p)), и получится p - onehot(y): формула, которую использовал модуль 3. Простая форма - это тот же градиент, а не сокращение пути.

Итоги Обратный проход softmax: p * (g - g · p). С перекрёстной энтропией сверху: p - onehot.

Слова и символы этого урока
softmax
exp каждой оценки, делённая на сумму: оценки становятся вероятностями
перекрёстная энтропия
минус логарифм вероятности, отданной правильному ответу
Твоя очередь

Напишите softmax_jacobian(z) (на входе одномерный массив оценок, на выходе таблица (n, n)) и softmax_backward(z, g) для двумерных массивов (одна строка на пример), используя p * (g - (g · p)) построчно, без построения таблицы. Скрытый тест сверяет оба с подталкиванием и проверяет, что с g от перекрёстной энтропии ответ - p - onehot.

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.