AdamW: weight decay richtig gemacht
Warum das wichtig ist Die meisten großen Modelle werden mit AdamW, nicht mit Adam trainiert. Der Unterschied ist eine Zeile, und er ändert, was "weight decay" tatsächlich bewirkt.
Weight decay zieht jedes Gewicht in jedem Schritt ein wenig in Richtung Null, was große Gewichte verhindert und dem Modell normalerweise hilft, mit neuen Daten zu arbeiten.
- Adam mit L2 fügt
wd * pzum Gradienten vor der Skalierung von Adam hinzu. Adam teilt es dann durch den Volume-Knopf, sodass Gewichte mit lauten Gradienten kaum abnehmen. - AdamW lässt den Gradienten allein und reduziert das Gewicht direkt:
p_new = p - lr * (adam_direction + wd * p), wobeipdas Gewicht vor diesem Schritt ist. Jedes Gewicht wird um denselben Anteil reduziert.
Entkoppelte Gewichtsabnahme: das Schrumpfen der Gewichte direkt anstatt über den Gradienten. Das ist das "W" in AdamW.
Wörter und Symbole in dieser Lektion
- Adam (m, v, t)
- momentum (m) plus ein pro-Gewicht Volumenregler (v), korrigiert für frühe Schritte (t)
- AdamW, weight decay
- verringert die Gewichte direkt ein wenig in jedem Schritt
Schreibe adam_l2_step(p, g, state, lr, wd) und adamw_step(p, g, state, lr, wd). state ist ein Dictionary, das m, v und t hält (beginne mit einem leeren Dictionary). Verwende b1 = 0.9, b2 = 0.999, eps = 1e-8. Jede gibt das neue p zurück. Für AdamW ist das Update p_new = p - lr * (m_hat / (sqrt(v_hat) + eps) + wd * p), wobei p das Gewicht vor dem Schritt ist.
Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion
Diese Übung öffnet bald
Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.
Dieser Browser blockiert Cookies für learn.floati.life, daher können hier beendigte Lektionen nicht in der richtigen Reihenfolge geöffnet werden. Erlaube Cookies für diese Seite und lade sie neu.