Lehrplan Lektion 70 von 246 · Modul 5: Optimierung
Modul 5: Optimierung

Adam: der Ball plus die Knöpfe

Warum das wichtig ist Adam ist der Standard-Optimierer für die meisten Deep Learning Anwendungen. Es ist momentum und RMSProp zusammen, plus eine kleine Korrektur, die am Anfang sehr wichtig ist.

Kleine Zahlen first

Ein Gewicht, beta1 = 0.9, beta2 = 0.999, lr = 0.1. Der Gradient bei Schritt 1 ist 2.0. Der laufende Durchschnitt der Gradienten, m, beginnt bei 0: m = 0.9 * 0 + 0.1 * 2 = 0.2. Aber der wahre aktuelle Gradient ist 2, nicht 0.2: m ist zum Startwert Null verzerrt. Teile durch (1 - 0.9 hoch t), um es zu korrigieren: 0.2 / 0.1 = 2.0. Die gleiche Korrektur für den quadrierten Durchschnitt v: 0.004 / 0.001 = 4.0. Step = 0.1 * 2 / sqrt(4) = 0.1.

Ohne die Korrektur wäre der erste Schritt 0.1 * 0.2 / sqrt(0.004) = 0.32, mehr als dreimal zu groß, und in einem echten Netzwerk können diese wilden ersten Schritte den Start des Trainings ruinieren.

m = b1 * m + (1 - b1) * g
v = b2 * v + (1 - b2) * g ** 2
m_hat = m / (1 - b1 ** t)
v_hat = v / (1 - b2 ** t)
p = p - lr * m_hat / (np.sqrt(v_hat) + eps)

Bias-Korrektur: dividieren durch (1 - beta hoch t), damit Durchschnitte, die bei Null begannen, in frühen Schritten nicht unterschätzt werden. t zählt Schritte ab 1.

Wörter und Symbole in dieser Lektion
momentum (beta)
behalte einen Teil der Geschwindigkeit des letzten Schritts
RMSProp
denn jeder Schritt eines Gewichts durch die übliche Lautstärke seines Gradienten geteilt wird
Adam (m, v, t)
momentum (m) plus ein pro-Gewicht Volumenregler (v), korrigiert für frühe Schritte (t)
Du bist dran

Fülle zuerst first_step_with und first_step_without aus: die Größe von Schritt 1 im Beispiel oben, mit und ohne Bias-Korrektur. Schreibe dann die Klasse Adam(lr, b1=0.9, b2=0.999, eps=1e-8) mit einer Methode step(p, g), die das aktualisierte Parameter-Array zurückgibt.

Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion

Diese Übung öffnet bald

Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.