AdamW: weight decay goed uitgevoerd
Waarom dit ertoe doet De meeste grote modellen worden getraind met AdamW, niet met Adam. Het verschil is één regel, en het verandert wat "weight decay" echt doet.
Weight decay trekt elke weight elke stap een beetje naar nul, wat grote weights ontmoedigt en meestal helpt bij het werken met nieuwe data.
- Adam met L2 voegt
wd * ptoe aan de gradient voor de schaling van Adam. Adam deelt het daarna door de volumeknop, dus gewichten met harde gradients vervallen nauwelijks. - AdamW laat de gradient met rust en verzwakt het gewicht direct:
p_new = p - lr * (adam_direction + wd * p), waarbijphet gewicht is voor deze stap. Elk gewicht verzwakt met dezelfde verhouding.
Ontkoppelde weight decay: het direct verkleinen van de weights in plaats van via de gradient. Dat is de "W" in AdamW.
Woorden en symbolen in deze les
- Adam (m, v, t)
- momentum (m) plus een per-gewicht volumeknop (v), gecorrigeerd voor vroege stappen (t)
- AdamW, weight decay
- verkleint de weights direct een beetje elke stap
Schrijf adam_l2_step(p, g, state, lr, wd) en adamw_step(p, g, state, lr, wd). state is een dictionary die m, v en t bevat (begin met een lege dictionary). Gebruik b1 = 0.9, b2 = 0.999, eps = 1e-8. Elke functie geeft de nieuwe p terug. Voor AdamW is de update p_new = p - lr * (m_hat / (sqrt(v_hat) + eps) + wd * p), waarbij p het gewicht van voor de stap is.
Een probleem ontdekt in deze les? Meld het · Vraag naar deze les
Deze oefening opent binnenkort
Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.
Deze browser blokkeert cookies voor learn.floati.life, dus lessen die je hier hebt afgerond kunnen niet in de juiste volgorde worden geopend. Sta cookies toe voor deze site en laad de pagina opnieuw.