Softmax и перекрёстная энтропия за один шаг
Почему это важно Можно построить softmax из exp, sum и деления, но результат медленнее и может переполняться. Каждая настоящая библиотека сливает softmax и перекрёстную энтропию в одну операцию с простым градиентом, который вы вывели в модуле 3.
Слитая операция вычисляет свой прямой проход за раз (со сдвигом на максимум ради безопасности) и имеет одно правило backward: (softmax - onehot) / n, умноженное на приходящий градиент. Для сети вам также нужна relu: пропускайте градиент там, где вход был положительным.
Итоги Сливайте, что можно; совместный градиент проще, чем его части.
Слова и символы этого урока
- Tensor
- здесь: массив плюс его градиент плюс Tensor, из которых он получен
- .grad
- градиент итоговых потерь по этому Tensor
- unbroadcast
- суммирование градиента обратно до формы, из которой его растянули
Напишите relu и cross_entropy(labels) (на Tensor логитов формы (batch, classes), возвращающую скалярный Tensor) с их правилами backward.
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.