Adam: шар плюс регуляторы
Почему это важно Adam - оптимизатор по умолчанию для большей части глубокого обучения. Это момент и RMSProp вместе, плюс одна небольшая поправка, которая очень важна в начале.
Сначала маленькие числа
Один вес, beta1 = 0,9, beta2 = 0,999, lr = 0,1. Градиент на шаге 1 равен 2,0. Текущее среднее градиентов m начинается с 0: m = 0,9 * 0 + 0,1 * 2 = 0,2. Но настоящий недавний градиент - 2, а не 0,2: m смещено к своему начальному нулю. Разделите на (1 - 0,9 в степени t), чтобы это исправить: 0,2 / 0,1 = 2,0. Та же поправка для среднего квадратов v: 0,004 / 0,001 = 4,0. Шаг = 0,1 * 2 / sqrt(4) = 0,1.
Без поправки первый шаг был бы 0,1 * 0,2 / sqrt(0,004) = 0,32, больше чем втрое слишком большим, а в настоящей сети такие дикие первые шаги могут погубить начало обучения.
m = b1 * m + (1 - b1) * g
v = b2 * v + (1 - b2) * g ** 2
m_hat = m / (1 - b1 ** t)
v_hat = v / (1 - b2 ** t)
p = p - lr * m_hat / (np.sqrt(v_hat) + eps)
Поправка смещения: деление на (1 - beta в степени t), чтобы средние, начавшиеся с нуля, не были занижены на первых шагах. t считает шаги с 1.
Слова и символы этого урока
- момент (beta)
- сохранение части скорости предыдущего шага
- RMSProp
- деление шага каждого веса на то, насколько громок обычно его градиент
- Adam (m, v, t)
- момент (m) плюс регулятор громкости для каждого веса (v), с поправкой на первые шаги (t)
Сначала заполните first_step_with и first_step_without: размер шага 1 в примере выше, с поправкой смещения и без неё. Затем напишите класс Adam(lr, b1=0.9, b2=0.999, eps=1e-8) с методом step(p, g), который возвращает обновлённый массив параметров.
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.