Conteúdo do curso Lição 71 de 246 · Módulo 5: Otimização
Módulo 5: Otimização

AdamW: weight decay feito do jeito certo

Por que isso importa A maioria dos modelos grandes é treinada com AdamW, não com Adam. A diferença é uma linha, e ela muda o que o "weight decay" realmente faz.

Weight decay puxa cada peso um pouco em direção ao zero a cada step, o que desencoraja pesos grandes e geralmente ajuda o modelo a trabalhar com novos dados.

  • Adam com L2 adiciona wd * p ao gradiente antes do escalonamento do Adam. O Adam então o divide pelo volume knob, então pesos com gradientes altos quase não sofrem decaimento.
  • AdamW deixa o gradiente de lado e decai o peso diretamente: p_new = p - lr * (adam_direction + wd * p), onde p é o peso antes deste passo. Cada peso decai pela mesma proporção.

Decoupled weight decay: diminuindo os pesos diretamente em vez de através do gradiente. Esse é o "W" no AdamW.

Palavras e símbolos nesta lição
Adam (m, v, t)
momentum (m) mais um botão de volume por peso (v), corrigido para os primeiros passos (t)
AdamW, weight decay
reduzindo os pesos diretamente um pouco a cada passo
Sua vez

Escreva adam_l2_step(p, g, state, lr, wd) e adamw_step(p, g, state, lr, wd). state é um dictionary segurando m, v e t (comece com um dictionary vazio). Use b1 = 0.9, b2 = 0.999, eps = 1e-8. Cada um retorna o novo p. Para o AdamW a atualização é p_new = p - lr * (m_hat / (sqrt(v_hat) + eps) + wd * p), com p sendo o weight de antes do step.

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.