Conteúdo do curso Lição 70 de 246 · Módulo 5: Otimização
Módulo 5: Otimização

Adam: a bola mais os botões

Por que isso importa Adam é o otimizador padrão para a maioria do deep learning. Ele é momentum e RMSProp juntos, mais uma pequena correção que importa muito no início.

Primeiros números pequenos

Um peso, beta1 = 0.9, beta2 = 0.999, lr = 0.1. O gradiente no step 1 é 2.0. A média móvel dos gradientes, m, começa em 0: m = 0.9 * 0 + 0.1 * 2 = 0.2. Mas o gradiente recente real é 2, não 0.2: m está enviesado para o zero inicial. Divida por (1 - 0.9 elevado a t) para corrigir: 0.2 / 0.1 = 2.0. A mesma correção para a média ao quadrado v: 0.004 / 0.001 = 4.0. Step = 0.1 * 2 / sqrt(4) = 0.1.

Sem a correção, o primeiro passo seria 0.1 * 0.2 / sqrt(0.004) = 0.32, mais de três vezes grande demais, e em uma rede real esses primeiros passos selvagens podem arruinar o início do treinamento.

m = b1 * m + (1 - b1) * g
v = b2 * v + (1 - b2) * g ** 2
m_hat = m / (1 - b1 ** t)
v_hat = v / (1 - b2 ** t)
p = p - lr * m_hat / (np.sqrt(v_hat) + eps)

Correção de viés: dividindo por (1 - beta elevado a t) para que médias que começaram em zero não sejam subestimadas nos primeiros passos. t conta os passos a partir de 1.

Palavras e símbolos nesta lição
momentum (beta)
mantendo parte da velocidade do último passo
RMSProp
dividindo o step de cada peso por o quão alto seu gradiente geralmente é
Adam (m, v, t)
momentum (m) mais um botão de volume por peso (v), corrigido para os primeiros passos (t)
Sua vez

Primeiro preencha first_step_with e first_step_without: o tamanho do passo 1 no exemplo acima, com e sem correção de viés. Depois escreva a classe Adam(lr, b1=0.9, b2=0.999, eps=1e-8) com um método step(p, g) que retorna o array de parâmetros atualizado.

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.