AdamW: gewigverval reg gedoen
Hoekom dit saak maak Die meeste groot modelle word met AdamW opgelei, nie Adam nie. Die verskil is een reël, en dit verander wat "weight decay" werklik doen.
Weight decay trek elke gewig 'n bietjie na nul toe by elke stap, wat groot gewigte ontmoedig en gewoonlik help om die model op nuwe data te laat werk.
- Adam met L2 voeg
wd * pby die gradiënt voor Adam se skaalvergroting. Adam deel dit dan deur die volume-knoppie, so wette met harde gradiënte verval skaars. - AdamW laat die gradiënt alleen en laat die gewig direk verval:
p_new = p - lr * (adam_direction + wd * p), waarpdie gewig voor hierdie stap is. Elke gewig verval met dieselfde proporsie.
Ontkoppelde gewigverval: die gewigte word direk verklein in plaas van deur die gradiënt. Dit is die "W" in AdamW.
Woorde en simbole in hierdie les
- Adam (m, v, t)
- momentum (m) plus 'n per-gewig volume-knoppie (v), gekorrigeer vir vroeë stappe (t)
- AdamW, gewigverval
- verklein die gewigte direk 'n klein bietjie elke stap
Skryf adam_l2_step(p, g, state, lr, wd) en adamw_step(p, g, state, lr, wd). state is 'n woordeboek wat m, v en t hou (begin met 'n leë woordeboek). Gebruik b1 = 0.9, b2 = 0.999, eps = 1e-8. Elkeen gee die nuwe p terug. Vir AdamW is die opdatering p_new = p - lr * (m_hat / (sqrt(v_hat) + eps) + wd * p), met p as die gewig van voor die stap.
Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les
Hierdie oefening open binnekort
Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.
Hierdie blutser blokkeer koekies vir learn.floati.life, so lesse wat jy hier voltooi het kan nie in volgorde oopgaan nie. Laat koekies vir hierdie webwerf toe en laai nuut.