AdamW: weight decay feito do jeito certo
Por que isso importa A maioria dos modelos grandes é treinada com AdamW, não com Adam. A diferença é uma linha, e ela muda o que o "weight decay" realmente faz.
Weight decay puxa cada peso um pouco em direção ao zero a cada step, o que desencoraja pesos grandes e geralmente ajuda o modelo a trabalhar com novos dados.
- Adam com L2 adiciona
wd * pao gradiente antes do escalonamento do Adam. O Adam então o divide pelo volume knob, então pesos com gradientes altos quase não sofrem decaimento. - AdamW deixa o gradiente de lado e decai o peso diretamente:
p_new = p - lr * (adam_direction + wd * p), ondepé o peso antes deste passo. Cada peso decai pela mesma proporção.
Decoupled weight decay: diminuindo os pesos diretamente em vez de através do gradiente. Esse é o "W" no AdamW.
Palavras e símbolos nesta lição
- Adam (m, v, t)
- momentum (m) mais um botão de volume por peso (v), corrigido para os primeiros passos (t)
- AdamW, weight decay
- reduzindo os pesos diretamente um pouco a cada passo
Escreva adam_l2_step(p, g, state, lr, wd) e adamw_step(p, g, state, lr, wd). state é um dictionary segurando m, v e t (comece com um dictionary vazio). Use b1 = 0.9, b2 = 0.999, eps = 1e-8. Cada um retorna o novo p. Para o AdamW a atualização é p_new = p - lr * (m_hat / (sqrt(v_hat) + eps) + wd * p), com p sendo o weight de antes do step.
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.