Программа курса Урок 72 из 246 · Модуль 5: Оптимизация
Модуль 5: Оптимизация

Прогрев и косинусное расписание

Почему это важно Лучшая скорость обучения не одинакова на всём протяжении обучения. Большие модели почти всегда обучают с расписанием: мягкий старт, долгая высокая середина и медленное приземление.

Посмотрите

Запустите анимацию. Прогрев: скорость поднимается по прямой почти от нуля до пика за первые несколько сотен шагов, потому что в самом начале градиенты большие и ненадёжные. Косинусное затухание: затем она скользит вниз по половине косинусоиды до небольшого минимума, так что позднее обучение делает маленькие осторожные шаги и устраивается в хорошем месте.

if step < warmup:  lr = peak * (step + 1) / warmup
else:              progress = (step - warmup) / (total - warmup)
                   lr = floor + (peak - floor) * 0.5 * (1 + cos(pi * progress))

Итоги Разгон, крейсерский ход, планирование вниз.

Слова и символы этого урока
прогрев, косинус
начинать скорость обучения с малого, затем плавно опускать её по косинусу
Твоя очередь

Напишите lr_at(step, total, warmup, peak, floor) по формулам выше (шаги считаются с 0).

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.