AdamW: затухание весов как надо
Почему это важно Большинство больших моделей обучаются с AdamW, а не с Adam. Разница - одна строка, и она меняет то, что на самом деле делает "затухание весов".
Затухание весов на каждом шаге слегка тянет каждый вес к нулю, что препятствует большим весам и обычно помогает модели работать на новых данных.
- Adam с L2 прибавляет
wd * pк градиенту до масштабирования Adam. Затем Adam делит это на регулятор громкости, поэтому веса с громкими градиентами почти не затухают. - AdamW не трогает градиент и затухает вес напрямую:
p_new = p - lr * (adam_direction + wd * p), гдеp- вес до этого шага. Каждый вес затухает в одной и той же пропорции.
Отделённое затухание весов: уменьшение весов напрямую, а не через градиент. Это и есть "W" в AdamW.
Слова и символы этого урока
- Adam (m, v, t)
- момент (m) плюс регулятор громкости для каждого веса (v), с поправкой на первые шаги (t)
- AdamW, затухание весов
- немного уменьшать веса напрямую на каждом шаге
Напишите adam_l2_step(p, g, state, lr, wd) и adamw_step(p, g, state, lr, wd). state - словарь, хранящий m, v и t (начните с пустого словаря). Используйте b1 = 0.9, b2 = 0.999, eps = 1e-8. Каждая возвращает новое p. Для AdamW обновление - p_new = p - lr * (m_hat / (sqrt(v_hat) + eps) + wd * p), где p - вес до шага.
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.