Программа курса Урок 73 из 246 · Модуль 5: Оптимизация
Модуль 5: Оптимизация

Быстрый поиск скорости обучения и обрезка всплесков

Почему это важно Угадывание скоростей обучения тратит дни. Один короткий прогон подскажет хорошую. А один плохой батч может взорвать прогон, если не ограничить шаг.

Тест диапазона

Обучайте несколько сотен шагов, понемногу повышая скорость обучения на каждом шаге, от крошечной до огромной, и записывайте потери. Сначала ничего не происходит; затем потери быстро падают; затем взрываются. Хорошая скорость обучения лежит там, где потери падали быстрее всего, чуть ниже взрыва. Распространённое правило: возьмите скорость, где потери были наименьшими, и разделите на 10.

Обрезка

Если общий размер градиента (его длина, или норма) выше предела, масштабируйте весь градиент вниз до этой длины. Направление сохраняется; укрощается только редкий огромный шаг.

Норма градиента: длина всех градиентов, взятых как один длинный вектор: квадратный корень из суммы их квадратов.

Слова и символы этого урока
норма градиента, обрезка
общий размер градиента и его ограничение
Твоя очередь

Напишите pick_lr(lrs, losses): скорость обучения, при которой потери были наименьшими, делённая на 10. И clip(grads, max_norm): grads - список массивов; если их общая норма выше max_norm, верните их все масштабированными так, чтобы норма равнялась max_norm, иначе верните без изменений.

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.