Lehrplan Lektion 71 von 246 · Modul 5: Optimierung
Modul 5: Optimierung

AdamW: weight decay richtig gemacht

Warum das wichtig ist Die meisten großen Modelle werden mit AdamW, nicht mit Adam trainiert. Der Unterschied ist eine Zeile, und er ändert, was "weight decay" tatsächlich bewirkt.

Weight decay zieht jedes Gewicht in jedem Schritt ein wenig in Richtung Null, was große Gewichte verhindert und dem Modell normalerweise hilft, mit neuen Daten zu arbeiten.

  • Adam mit L2 fügt wd * p zum Gradienten vor der Skalierung von Adam hinzu. Adam teilt es dann durch den Volume-Knopf, sodass Gewichte mit lauten Gradienten kaum abnehmen.
  • AdamW lässt den Gradienten allein und reduziert das Gewicht direkt: p_new = p - lr * (adam_direction + wd * p), wobei p das Gewicht vor diesem Schritt ist. Jedes Gewicht wird um denselben Anteil reduziert.

Entkoppelte Gewichtsabnahme: das Schrumpfen der Gewichte direkt anstatt über den Gradienten. Das ist das "W" in AdamW.

Wörter und Symbole in dieser Lektion
Adam (m, v, t)
momentum (m) plus ein pro-Gewicht Volumenregler (v), korrigiert für frühe Schritte (t)
AdamW, weight decay
verringert die Gewichte direkt ein wenig in jedem Schritt
Du bist dran

Schreibe adam_l2_step(p, g, state, lr, wd) und adamw_step(p, g, state, lr, wd). state ist ein Dictionary, das m, v und t hält (beginne mit einem leeren Dictionary). Verwende b1 = 0.9, b2 = 0.999, eps = 1e-8. Jede gibt das neue p zurück. Für AdamW ist das Update p_new = p - lr * (m_hat / (sqrt(v_hat) + eps) + wd * p), wobei p das Gewicht vor dem Schritt ist.

Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion

Diese Übung öffnet bald

Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.