Программа курса Урок 67 из 246 · Модуль 5: Оптимизация
Модуль 5: Оптимизация

Размер батча и скорость обучения вместе

Почему это важно Размер батча и скорость обучения - не отдельные ручки. Измените одну, и лучшее значение другой сдвигается.

Батч побольше даёт менее шумный градиент, поэтому может безопасно сделать шаг побольше. Грубое правило, с которого многие начинают: удвоив размер батча, можно примерно удвоить скорость обучения, до точки, где шаг становится неустойчивым.

Результаты также колеблются от seed к seed, поэтому сравнивайте настройки по нескольким seed, никогда по одному прогону.

Ещё одна ловушка: метки здесь несут шум с разбросом 0,1, поэтому ни одна настройка не может опустить потери ниже примерно 0,1 в квадрате = 0,01. Около этой границы несколько пар идут вровень (например 0,0113 против 0,0114). "Победитель" с отрывом меньше колебаний от seed к seed - не победитель, поэтому прогон также перечисляет каждую пару в пределах 5% от лучшей.

Итоги Настраивайте их вместе и усредняйте по seed.

Слова и символы этого урока
SGD
градиентный спуск на небольших случайных батчах
Твоя очередь

Сначала предскажите: в my_pick запишите пару (batch, lr) из сетки, которая, по-вашему, закончит с наименьшими потерями после 2 эпох. Затем напишите sweep(X, y, batches, lrs, seeds), возвращающую словарь от (batch, lr) к средним итоговым потерям по seed (используйте данную sgd), и best(results), возвращающую лучшую пару.

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.