Программа курса Урок 69 из 246 · Модуль 5: Оптимизация
Модуль 5: Оптимизация

Регулятор громкости для каждого веса (RMSProp)

Почему это важно Момент сглаживает направление. RMSProp решает другую проблему: одни веса получают огромные градиенты, другие крошечные, поэтому одна скорость обучения не может подойти всем.

RMSProp хранит для каждого веса текущее среднее квадрата его градиента: насколько громок обычно градиент этого веса. Затем он делит каждый шаг на квадратный корень из этого, словно убавляя громкость громким весам и прибавляя тихим.

s = rho * s + (1 - rho) * grad ** 2
p = p - lr * grad / (np.sqrt(s) + eps)

На вытянутой чаше крутое направление имеет громкие градиенты и убавляется, пологое прибавляется, и чаша ведёт себя почти как круглая. Здесь это работает, потому что крутое и пологое направления чаши совпадают с двумя весами. Наклоните долину на 45 градусов, чтобы каждый вес видел смесь обоих направлений, и регулятор громкости на вес не сможет их разделить: тогда RMSProp и Adam помогают гораздо меньше. Они масштабируют по громкости градиента каждого веса, а не по настоящей форме долины.

eps: крошечное число вроде 1e-8, которое не даёт делить на ноль.

Слова и символы этого урока
момент (beta)
сохранение части скорости предыдущего шага
RMSProp
деление шага каждого веса на то, насколько громок обычно его градиент
Adam (m, v, t)
момент (m) плюс регулятор громкости для каждого веса (v), с поправкой на первые шаги (t)
Твоя очередь

Напишите rmsprop(grad, start, lr, rho, steps, eps=1e-8), возвращающую итоговое положение. Скрытый тест сравнивает ваше положение с эталоном после нескольких шагов.

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.