Регулятор громкости для каждого веса (RMSProp)
Почему это важно Момент сглаживает направление. RMSProp решает другую проблему: одни веса получают огромные градиенты, другие крошечные, поэтому одна скорость обучения не может подойти всем.
RMSProp хранит для каждого веса текущее среднее квадрата его градиента: насколько громок обычно градиент этого веса. Затем он делит каждый шаг на квадратный корень из этого, словно убавляя громкость громким весам и прибавляя тихим.
s = rho * s + (1 - rho) * grad ** 2
p = p - lr * grad / (np.sqrt(s) + eps)
На вытянутой чаше крутое направление имеет громкие градиенты и убавляется, пологое прибавляется, и чаша ведёт себя почти как круглая. Здесь это работает, потому что крутое и пологое направления чаши совпадают с двумя весами. Наклоните долину на 45 градусов, чтобы каждый вес видел смесь обоих направлений, и регулятор громкости на вес не сможет их разделить: тогда RMSProp и Adam помогают гораздо меньше. Они масштабируют по громкости градиента каждого веса, а не по настоящей форме долины.
eps: крошечное число вроде 1e-8, которое не даёт делить на ноль.
Слова и символы этого урока
- момент (beta)
- сохранение части скорости предыдущего шага
- RMSProp
- деление шага каждого веса на то, насколько громок обычно его градиент
- Adam (m, v, t)
- момент (m) плюс регулятор громкости для каждого веса (v), с поправкой на первые шаги (t)
Напишите rmsprop(grad, start, lr, rho, steps, eps=1e-8), возвращающую итоговое положение. Скрытый тест сравнивает ваше положение с эталоном после нескольких шагов.
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.