Программа курса Урок 70 из 246 · Модуль 5: Оптимизация
Модуль 5: Оптимизация

Adam: шар плюс регуляторы

Почему это важно Adam - оптимизатор по умолчанию для большей части глубокого обучения. Это момент и RMSProp вместе, плюс одна небольшая поправка, которая очень важна в начале.

Сначала маленькие числа

Один вес, beta1 = 0,9, beta2 = 0,999, lr = 0,1. Градиент на шаге 1 равен 2,0. Текущее среднее градиентов m начинается с 0: m = 0,9 * 0 + 0,1 * 2 = 0,2. Но настоящий недавний градиент - 2, а не 0,2: m смещено к своему начальному нулю. Разделите на (1 - 0,9 в степени t), чтобы это исправить: 0,2 / 0,1 = 2,0. Та же поправка для среднего квадратов v: 0,004 / 0,001 = 4,0. Шаг = 0,1 * 2 / sqrt(4) = 0,1.

Без поправки первый шаг был бы 0,1 * 0,2 / sqrt(0,004) = 0,32, больше чем втрое слишком большим, а в настоящей сети такие дикие первые шаги могут погубить начало обучения.

m = b1 * m + (1 - b1) * g
v = b2 * v + (1 - b2) * g ** 2
m_hat = m / (1 - b1 ** t)
v_hat = v / (1 - b2 ** t)
p = p - lr * m_hat / (np.sqrt(v_hat) + eps)

Поправка смещения: деление на (1 - beta в степени t), чтобы средние, начавшиеся с нуля, не были занижены на первых шагах. t считает шаги с 1.

Слова и символы этого урока
момент (beta)
сохранение части скорости предыдущего шага
RMSProp
деление шага каждого веса на то, насколько громок обычно его градиент
Adam (m, v, t)
момент (m) плюс регулятор громкости для каждого веса (v), с поправкой на первые шаги (t)
Твоя очередь

Сначала заполните first_step_with и first_step_without: размер шага 1 в примере выше, с поправкой смещения и без неё. Затем напишите класс Adam(lr, b1=0.9, b2=0.999, eps=1e-8) с методом step(p, g), который возвращает обновлённый массив параметров.

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.