Lehrplan Lektion 69 von 246 · Modul 5: Optimierung
Modul 5: Optimierung

Ein Lautstärkeregler pro Gewicht (RMSProp)

Warum das wichtig ist Momentum glättet die Richtung. RMSProp behebt das andere Problem: einige Gewichte erhalten riesige Gradienten und andere winzige, also kann eine Lernrate nicht allen gerecht werden.

RMSProp behält für jedes Gewicht einen laufenden Durchschnitt seines quadrierten Gradienten, also wie laut der Gradient dieses Gewichts normalerweise ist. Dann teilt es jeden Schritt durch die Quadratwurzel davon, wie das Leiser machen von lauten Gewichten und Lauter machen von leisen Gewichten.

s = rho * s + (1 - rho) * grad ** 2
p = p - lr * grad / (np.sqrt(s) + eps)

Auf der gestreckten Schüssel hat die steile Richtung laute Gradienten und wird nach unten gedreht, die sanfte Richtung wird nach oben gedreht, und die Schüssel verhält sich fast so, als wäre sie rund. Das funktioniert hier, weil die steile und sanfte Richtung der Schüssel mit den zwei Gewichten übereinstimmen. Neige das Tal um 45 Grad, sodass jedes Gewicht eine Mischung aus beiden Richtungen sieht, und ein Lautstärkeregler pro Gewicht kann sie nicht trennen: RMSProp und Adam helfen dann viel weniger. Sie skalieren nach der Lautstärke des Gradienten jedes Gewichts, nicht nach der wahren Form des Tals.

eps: eine winzige Zahl wie 1e-8, die die Division durch Null verhindert.

Wörter und Symbole in dieser Lektion
momentum (beta)
behalte einen Teil der Geschwindigkeit des letzten Schritts
RMSProp
denn jeder Schritt eines Gewichts durch die übliche Lautstärke seines Gradienten geteilt wird
Adam (m, v, t)
momentum (m) plus a per-weight volume knob (v), korrigiert für frühe steps (t)
Du bist dran

Schreibe rmsprop(grad, start, lr, rho, steps, eps=1e-8) und gib die finale Position zurück. Der versteckte Test vergleicht deine Position mit dem Referenzwert nach einigen Schritten.

Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion

Diese Übung öffnet bald

Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.