Softmax и перекрёстная энтропия вместе
Почему это важно Каждый классификатор в этом курсе заканчивается softmax плюс перекрёстная энтропия. Их совместный градиент - один из самых полезных результатов в глубоком обучении, и он короткий.
Маленькие числа
Логиты [2, 1, 0], softmax [0.665, 0.245, 0.090], верный класс 0 (one-hot [1, 0, 0]). Градиент потерь по логитам - просто softmax минус one-hot: [-0.335, 0.245, 0.090]. Словами: поднимите оценку верного класса на то, насколько ей не хватило, и опустите каждую другую оценку на то, сколько вероятности она неверно забрала.
One-hot: вектор нулей с единственной 1 у верного класса.
Для батча усредните по строкам: (softmax(Z) - onehot) / n.
Итоги Градиент = предсказание минус правда, снова.
Слова и символы этого урока
- one-hot
- нули с единственной 1 у верного класса
- проверка градиента
- сравнение вашей формулы градиента с оценкой "подтолкнуть и измерить"
Напишите loss_and_grad(Z, labels), возвращающую среднюю перекрёстную энтропию и её градиент по Z (форма (batch, classes)). Используйте устойчивый softmax. Проверьте её сами своей проверкой градиента до отправки.
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.