Programma Les 71 van 246 · Module 5: Optimalisatie
Module 5: Optimalisatie

AdamW: weight decay goed uitgevoerd

Waarom dit ertoe doet De meeste grote modellen worden getraind met AdamW, niet met Adam. Het verschil is één regel, en het verandert wat "weight decay" echt doet.

Weight decay trekt elke weight elke stap een beetje naar nul, wat grote weights ontmoedigt en meestal helpt bij het werken met nieuwe data.

  • Adam met L2 voegt wd * p toe aan de gradient voor de schaling van Adam. Adam deelt het daarna door de volumeknop, dus gewichten met harde gradients vervallen nauwelijks.
  • AdamW laat de gradient met rust en verzwakt het gewicht direct: p_new = p - lr * (adam_direction + wd * p), waarbij p het gewicht is voor deze stap. Elk gewicht verzwakt met dezelfde verhouding.

Ontkoppelde weight decay: het direct verkleinen van de weights in plaats van via de gradient. Dat is de "W" in AdamW.

Woorden en symbolen in deze les
Adam (m, v, t)
momentum (m) plus een per-gewicht volumeknop (v), gecorrigeerd voor vroege stappen (t)
AdamW, weight decay
verkleint de weights direct een beetje elke stap
Jij bent aan de beurt

Schrijf adam_l2_step(p, g, state, lr, wd) en adamw_step(p, g, state, lr, wd). state is een dictionary die m, v en t bevat (begin met een lege dictionary). Gebruik b1 = 0.9, b2 = 0.999, eps = 1e-8. Elke functie geeft de nieuwe p terug. Voor AdamW is de update p_new = p - lr * (m_hat / (sqrt(v_hat) + eps) + wd * p), waarbij p het gewicht van voor de stap is.

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Deze oefening opent binnenkort

Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.