Быстрый поиск скорости обучения и обрезка всплесков
Почему это важно Угадывание скоростей обучения тратит дни. Один короткий прогон подскажет хорошую. А один плохой батч может взорвать прогон, если не ограничить шаг.
Тест диапазона
Обучайте несколько сотен шагов, понемногу повышая скорость обучения на каждом шаге, от крошечной до огромной, и записывайте потери. Сначала ничего не происходит; затем потери быстро падают; затем взрываются. Хорошая скорость обучения лежит там, где потери падали быстрее всего, чуть ниже взрыва. Распространённое правило: возьмите скорость, где потери были наименьшими, и разделите на 10.
Обрезка
Если общий размер градиента (его длина, или норма) выше предела, масштабируйте весь градиент вниз до этой длины. Направление сохраняется; укрощается только редкий огромный шаг.
Норма градиента: длина всех градиентов, взятых как один длинный вектор: квадратный корень из суммы их квадратов.
Слова и символы этого урока
- норма градиента, обрезка
- общий размер градиента и его ограничение
Напишите pick_lr(lrs, losses): скорость обучения, при которой потери были наименьшими, делённая на 10. И clip(grads, max_norm): grads - список массивов; если их общая норма выше max_norm, верните их все масштабированными так, чтобы норма равнялась max_norm, иначе верните без изменений.
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.