Программа курса Урок 47 из 246 · Модуль 3: От нейрона к MLP
Модуль 3: От нейрона к MLP

Softmax и перекрёстная энтропия вместе

Почему это важно Каждый классификатор в этом курсе заканчивается softmax плюс перекрёстная энтропия. Их совместный градиент - один из самых полезных результатов в глубоком обучении, и он короткий.

Маленькие числа

Логиты [2, 1, 0], softmax [0.665, 0.245, 0.090], верный класс 0 (one-hot [1, 0, 0]). Градиент потерь по логитам - просто softmax минус one-hot: [-0.335, 0.245, 0.090]. Словами: поднимите оценку верного класса на то, насколько ей не хватило, и опустите каждую другую оценку на то, сколько вероятности она неверно забрала.

One-hot: вектор нулей с единственной 1 у верного класса.

Для батча усредните по строкам: (softmax(Z) - onehot) / n.

Итоги Градиент = предсказание минус правда, снова.

Слова и символы этого урока
one-hot
нули с единственной 1 у верного класса
проверка градиента
сравнение вашей формулы градиента с оценкой "подтолкнуть и измерить"
Твоя очередь

Напишите loss_and_grad(Z, labels), возвращающую среднюю перекрёстную энтропию и её градиент по Z (форма (batch, classes)). Используйте устойчивый softmax. Проверьте её сами своей проверкой градиента до отправки.

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.