Programma Lezione 71 di 246 · Modulo 5: Ottimizzazione
Modulo 5: Ottimizzazione

AdamW: il weight decay fatto bene

Perché è importante La maggior parte dei modelli grandi si addestra con AdamW, non con Adam. La differenza è una riga, e cambia che cosa fa davvero il "weight decay".

Il weight decay tira ogni peso un po' verso zero a ogni passo, il che scoraggia i pesi grandi e di solito aiuta il modello a funzionare su dati nuovi.

  • Adam con L2 aggiunge wd * p al gradiente prima della riscalatura di Adam. Adam poi lo divide per la manopola del volume, quindi i pesi con gradienti forti decadono a malapena.
  • AdamW lascia stare il gradiente e fa decadere direttamente il peso: p_new = p - lr * (adam_direction + wd * p), dove p è il peso prima di questo passo. Ogni peso decade della stessa proporzione.

Weight decay disaccoppiato: ridurre i pesi direttamente invece che attraverso il gradiente. È la "W" di AdamW.

Parole e simboli di questa lezione
Adam (m, v, t)
momentum (m) più una manopola del volume per peso (v), corretti per i primi passi (t)
AdamW, weight decay
ridurre direttamente i pesi un po' a ogni passo
Tocca a te

Scrivi adam_l2_step(p, g, state, lr, wd) e adamw_step(p, g, state, lr, wd). state è un dizionario che contiene m, v e t (parti da un dizionario vuoto). Usa b1 = 0.9, b2 = 0.999, eps = 1e-8. Ognuna restituisce il nuovo p. Per AdamW l'aggiornamento è p_new = p - lr * (m_hat / (sqrt(v_hat) + eps) + wd * p), con p il peso di prima del passo.

Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione

Questo esercizio si apre presto

Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.