Контрольная задача: математика в коде (ИИ выключен)
Почему это важно Три части этого модуля возвращаются в каждом последующем: softmax, выдерживающий большие числа, градиенты умножения матриц и дивергенция KL. Уже знаете эту математику? Можете сделать эту контрольную задачу первой, до других уроков: если пройдёте, модуль отмечается выполненным и открывается следующий.
ИИ-наставник выключен. Для softmax используйте трюк сдвига: вычитание наибольшей оценки из каждой оценки на бумаге ничего не меняет, но держит каждую exp не больше 1. Настоящие логиты могут быть большими, а softmax, возвращающий nan на больших входах, тихо губит прогон обучения.
Слова и символы этого урока
- производная (df/dx)
- как быстро меняется выход на единичное подталкивание входа
- softmax
- exp каждой оценки, делённая на сумму: оценки становятся вероятностями
- перекрёстная энтропия
- минус логарифм вероятности, отданной правильному ответу
- KL(P || Q)
- насколько различаются два распределения; ноль, только когда совпадают; порядок важен
Напишите для двумерных массивов логитов (одна строка на пример):
logsumexp(z): логарифм суммы exp вдоль каждой строки, безопасный для огромных значений.stable_softmax(z): softmax вдоль каждой строки, безопасный для огромных значений.nll(z, labels): средняя перекрёстная энтропия, вычисленная прямо из логитов какlogsumexp - z[true], никогда не беря логарифм softmax.matmul_grads(X, W, G): для Y = X @ W и потерь, градиент которых по Y равен G, верните(dX, dW), градиенты по X и W, не строя никакого якобиана.kl_normal(m1, s1, m2, s2): дивергенция KL от колоколообразной кривой N(m1, s1) к N(m2, s2), где s1 и s2 - разбросы (стандартные отклонения).
Проверки каждый раз используют новые случайные формы и числа и сравнивают с подталкиванием и с численным интегралом.
ИИ выключен: нет тьютора, подсказок или готового решения для этой задачи. Только ваши собственные мысли.
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Ваш прогресс учитывается анонимно. Измените это
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.