Размер батча и скорость обучения вместе
Почему это важно Размер батча и скорость обучения - не отдельные ручки. Измените одну, и лучшее значение другой сдвигается.
Батч побольше даёт менее шумный градиент, поэтому может безопасно сделать шаг побольше. Грубое правило, с которого многие начинают: удвоив размер батча, можно примерно удвоить скорость обучения, до точки, где шаг становится неустойчивым.
Результаты также колеблются от seed к seed, поэтому сравнивайте настройки по нескольким seed, никогда по одному прогону.
Ещё одна ловушка: метки здесь несут шум с разбросом 0,1, поэтому ни одна настройка не может опустить потери ниже примерно 0,1 в квадрате = 0,01. Около этой границы несколько пар идут вровень (например 0,0113 против 0,0114). "Победитель" с отрывом меньше колебаний от seed к seed - не победитель, поэтому прогон также перечисляет каждую пару в пределах 5% от лучшей.
Итоги Настраивайте их вместе и усредняйте по seed.
Слова и символы этого урока
- SGD
- градиентный спуск на небольших случайных батчах
Сначала предскажите: в my_pick запишите пару (batch, lr) из сетки, которая, по-вашему, закончит с наименьшими потерями после 2 эпох. Затем напишите sweep(X, y, batches, lrs, seeds), возвращающую словарь от (batch, lr) к средним итоговым потерям по seed (используйте данную sgd), и best(results), возвращающую лучшую пару.
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.