Прогрев и косинусное расписание
Почему это важно Лучшая скорость обучения не одинакова на всём протяжении обучения. Большие модели почти всегда обучают с расписанием: мягкий старт, долгая высокая середина и медленное приземление.
Посмотрите
Запустите анимацию. Прогрев: скорость поднимается по прямой почти от нуля до пика за первые несколько сотен шагов, потому что в самом начале градиенты большие и ненадёжные. Косинусное затухание: затем она скользит вниз по половине косинусоиды до небольшого минимума, так что позднее обучение делает маленькие осторожные шаги и устраивается в хорошем месте.
if step < warmup: lr = peak * (step + 1) / warmup
else: progress = (step - warmup) / (total - warmup)
lr = floor + (peak - floor) * 0.5 * (1 + cos(pi * progress))
Итоги Разгон, крейсерский ход, планирование вниз.
Слова и символы этого урока
- прогрев, косинус
- начинать скорость обучения с малого, затем плавно опускать её по косинусу
Напишите lr_at(step, total, warmup, peak, floor) по формулам выше (шаги считаются с 0).
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.