Программа курса Урок 38 из 246 · Модуль 2: Математика и вероятность, только по необходимости
Модуль 2: Математика и вероятность, только по необходимости

Контрольная задача: математика в коде (ИИ выключен)

Почему это важно Три части этого модуля возвращаются в каждом последующем: softmax, выдерживающий большие числа, градиенты умножения матриц и дивергенция KL. Уже знаете эту математику? Можете сделать эту контрольную задачу первой, до других уроков: если пройдёте, модуль отмечается выполненным и открывается следующий.

ИИ-наставник выключен. Для softmax используйте трюк сдвига: вычитание наибольшей оценки из каждой оценки на бумаге ничего не меняет, но держит каждую exp не больше 1. Настоящие логиты могут быть большими, а softmax, возвращающий nan на больших входах, тихо губит прогон обучения.

Слова и символы этого урока
производная (df/dx)
как быстро меняется выход на единичное подталкивание входа
softmax
exp каждой оценки, делённая на сумму: оценки становятся вероятностями
перекрёстная энтропия
минус логарифм вероятности, отданной правильному ответу
KL(P || Q)
насколько различаются два распределения; ноль, только когда совпадают; порядок важен
Твоя очередь

Напишите для двумерных массивов логитов (одна строка на пример):

  • logsumexp(z): логарифм суммы exp вдоль каждой строки, безопасный для огромных значений.
  • stable_softmax(z): softmax вдоль каждой строки, безопасный для огромных значений.
  • nll(z, labels): средняя перекрёстная энтропия, вычисленная прямо из логитов как logsumexp - z[true], никогда не беря логарифм softmax.
  • matmul_grads(X, W, G): для Y = X @ W и потерь, градиент которых по Y равен G, верните (dX, dW), градиенты по X и W, не строя никакого якобиана.
  • kl_normal(m1, s1, m2, s2): дивергенция KL от колоколообразной кривой N(m1, s1) к N(m2, s2), где s1 и s2 - разбросы (стандартные отклонения).

Проверки каждый раз используют новые случайные формы и числа и сравнивают с подталкиванием и с численным интегралом.

ИИ выключен: нет тьютора, подсказок или готового решения для этой задачи. Только ваши собственные мысли.

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Код · запускается в вашем браузере
Вывод

        

Ваш прогресс учитывается анонимно. Измените это