Kurrikulum Leson 71 van 246 · Module 5: Optimisering
Module 5: Optimisering

AdamW: gewigverval reg gedoen

Hoekom dit saak maak Die meeste groot modelle word met AdamW opgelei, nie Adam nie. Die verskil is een reël, en dit verander wat "weight decay" werklik doen.

Weight decay trek elke gewig 'n bietjie na nul toe by elke stap, wat groot gewigte ontmoedig en gewoonlik help om die model op nuwe data te laat werk.

  • Adam met L2 voeg wd * p by die gradiënt voor Adam se skaalvergroting. Adam deel dit dan deur die volume-knoppie, so wette met harde gradiënte verval skaars.
  • AdamW laat die gradiënt alleen en laat die gewig direk verval: p_new = p - lr * (adam_direction + wd * p), waar p die gewig voor hierdie stap is. Elke gewig verval met dieselfde proporsie.

Ontkoppelde gewigverval: die gewigte word direk verklein in plaas van deur die gradiënt. Dit is die "W" in AdamW.

Woorde en simbole in hierdie les
Adam (m, v, t)
momentum (m) plus 'n per-gewig volume-knoppie (v), gekorrigeer vir vroeë stappe (t)
AdamW, gewigverval
verklein die gewigte direk 'n klein bietjie elke stap
Jou beurt

Skryf adam_l2_step(p, g, state, lr, wd) en adamw_step(p, g, state, lr, wd). state is 'n woordeboek wat m, v en t hou (begin met 'n leë woordeboek). Gebruik b1 = 0.9, b2 = 0.999, eps = 1e-8. Elkeen gee die nuwe p terug. Vir AdamW is die opdatering p_new = p - lr * (m_hat / (sqrt(v_hat) + eps) + wd * p), met p as die gewig van voor die stap.

Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les

Hierdie oefening open binnekort

Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.