Программа курса Урок 68 из 246 · Модуль 5: Оптимизация
Модуль 5: Оптимизация

Тяжёлый шар (момент)

Почему это важно Момент - единственное самое полезное исправление для вытянутых долин, и он есть почти у каждого оптимизатора, которым вы будете пользоваться.

Сначала посмотрите

Запустите анимацию. Простой градиентный спуск зигзагом пересекает долину. Тяжёлый шар сохраняет часть своей прежней скорости: зигзаги взаимно гасятся (влево, вправо, влево), а устойчивая тяга под гору вдоль долины складывается шаг за шагом. Поэтому он разгоняется по дну долины.

Назовите это

v = beta * v + grad        # velocity: mostly the old velocity, plus the new push
p = p - lr * v

При beta = 0,9 шар помнит примерно последние 10 толчков.

Почему простой спуск здесь медленный

На этой чаше крутое направление в 50 раз круче пологого. Скорость обучения простого спуска ограничена крутым направлением: выше 2/50 = 0,04 шаги поперёк долины растут, и он взрывается. Чуть ниже предела, при 0,039, он зигзагом пересекает долину (каждый шаг проскакивает и попадает на другую сторону), ползя вдоль неё, потому что 0,039 - крошечная скорость для пологого направления. Момент может использовать большую скорость и сохранять свою скорость вдоль долины: он тоже проскакивает в крутом направлении, но эти качания гасятся, а толчки вдоль дна складываются.

(Ровно при lr = 1/50 = 0,02 зигзага нет совсем: один шаг попадает на дно долины, а остальное - медленное ползание. Попробуйте.)

(Сцена рисует более пологую долину, в 25 раз круче поперёк, с beta 0,5, чтобы её пути поместились на экране; числа в этом уроке - для долины в 50 раз, которую вы программируете.)

Момент: текущая сумма недавних градиентов, которая сглаживает зигзаги и набирает скорость в устойчивых направлениях.

Слова и символы этого урока
момент (beta)
сохранение части скорости предыдущего шага
Твоя очередь

Напишите steps_plain(lr) и steps_momentum(lr, beta): начиная с (1, 1) на вытянутой чаше, считайте шаги, пока расстояние до дна не станет меньше 0,001 (максимум 20 000). Дайте каждому свои хорошие настройки: простому спуску lr 0,039, чуть ниже его предела, а моменту lr 0,06 с beta 0,6. Моменту должно хватать не больше трети шагов.

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.