Adam: a bola mais os botões
Por que isso importa Adam é o otimizador padrão para a maioria do deep learning. Ele é momentum e RMSProp juntos, mais uma pequena correção que importa muito no início.
Primeiros números pequenos
Um peso, beta1 = 0.9, beta2 = 0.999, lr = 0.1. O gradiente no step 1 é 2.0. A média móvel dos gradientes, m, começa em 0: m = 0.9 * 0 + 0.1 * 2 = 0.2. Mas o gradiente recente real é 2, não 0.2: m está enviesado para o zero inicial. Divida por (1 - 0.9 elevado a t) para corrigir: 0.2 / 0.1 = 2.0. A mesma correção para a média ao quadrado v: 0.004 / 0.001 = 4.0. Step = 0.1 * 2 / sqrt(4) = 0.1.
Sem a correção, o primeiro passo seria 0.1 * 0.2 / sqrt(0.004) = 0.32, mais de três vezes grande demais, e em uma rede real esses primeiros passos selvagens podem arruinar o início do treinamento.
m = b1 * m + (1 - b1) * g
v = b2 * v + (1 - b2) * g ** 2
m_hat = m / (1 - b1 ** t)
v_hat = v / (1 - b2 ** t)
p = p - lr * m_hat / (np.sqrt(v_hat) + eps)
Correção de viés: dividindo por (1 - beta elevado a t) para que médias que começaram em zero não sejam subestimadas nos primeiros passos. t conta os passos a partir de 1.
Palavras e símbolos nesta lição
- momentum (beta)
- mantendo parte da velocidade do último passo
- RMSProp
- dividindo o step de cada peso por o quão alto seu gradiente geralmente é
- Adam (m, v, t)
- momentum (m) mais um botão de volume por peso (v), corrigido para os primeiros passos (t)
Primeiro preencha first_step_with e first_step_without: o tamanho do passo 1 no exemplo acima, com e sem correção de viés. Depois escreva a classe Adam(lr, b1=0.9, b2=0.999, eps=1e-8) com um método step(p, g) que retorna o array de parâmetros atualizado.
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.