Программа курса Урок 71 из 246 · Модуль 5: Оптимизация
Модуль 5: Оптимизация

AdamW: затухание весов как надо

Почему это важно Большинство больших моделей обучаются с AdamW, а не с Adam. Разница - одна строка, и она меняет то, что на самом деле делает "затухание весов".

Затухание весов на каждом шаге слегка тянет каждый вес к нулю, что препятствует большим весам и обычно помогает модели работать на новых данных.

  • Adam с L2 прибавляет wd * p к градиенту до масштабирования Adam. Затем Adam делит это на регулятор громкости, поэтому веса с громкими градиентами почти не затухают.
  • AdamW не трогает градиент и затухает вес напрямую: p_new = p - lr * (adam_direction + wd * p), где p - вес до этого шага. Каждый вес затухает в одной и той же пропорции.

Отделённое затухание весов: уменьшение весов напрямую, а не через градиент. Это и есть "W" в AdamW.

Слова и символы этого урока
Adam (m, v, t)
момент (m) плюс регулятор громкости для каждого веса (v), с поправкой на первые шаги (t)
AdamW, затухание весов
немного уменьшать веса напрямую на каждом шаге
Твоя очередь

Напишите adam_l2_step(p, g, state, lr, wd) и adamw_step(p, g, state, lr, wd). state - словарь, хранящий m, v и t (начните с пустого словаря). Используйте b1 = 0.9, b2 = 0.999, eps = 1e-8. Каждая возвращает новое p. Для AdamW обновление - p_new = p - lr * (m_hat / (sqrt(v_hat) + eps) + wd * p), где p - вес до шага.

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.