Программа курса Урок 59 из 246 · Модуль 4: Ваш собственный движок autograd
Модуль 4: Ваш собственный движок autograd

Softmax и перекрёстная энтропия за один шаг

Почему это важно Можно построить softmax из exp, sum и деления, но результат медленнее и может переполняться. Каждая настоящая библиотека сливает softmax и перекрёстную энтропию в одну операцию с простым градиентом, который вы вывели в модуле 3.

Слитая операция вычисляет свой прямой проход за раз (со сдвигом на максимум ради безопасности) и имеет одно правило backward: (softmax - onehot) / n, умноженное на приходящий градиент. Для сети вам также нужна relu: пропускайте градиент там, где вход был положительным.

Итоги Сливайте, что можно; совместный градиент проще, чем его части.

Слова и символы этого урока
Tensor
здесь: массив плюс его градиент плюс Tensor, из которых он получен
.grad
градиент итоговых потерь по этому Tensor
unbroadcast
суммирование градиента обратно до формы, из которой его растянули
Твоя очередь

Напишите relu и cross_entropy(labels) (на Tensor логитов формы (batch, classes), возвращающую скалярный Tensor) с их правилами backward.

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.