Adam: der Ball plus die Knöpfe
Warum das wichtig ist Adam ist der Standard-Optimierer für die meisten Deep Learning Anwendungen. Es ist momentum und RMSProp zusammen, plus eine kleine Korrektur, die am Anfang sehr wichtig ist.
Kleine Zahlen first
Ein Gewicht, beta1 = 0.9, beta2 = 0.999, lr = 0.1. Der Gradient bei Schritt 1 ist 2.0. Der laufende Durchschnitt der Gradienten, m, beginnt bei 0: m = 0.9 * 0 + 0.1 * 2 = 0.2. Aber der wahre aktuelle Gradient ist 2, nicht 0.2: m ist zum Startwert Null verzerrt. Teile durch (1 - 0.9 hoch t), um es zu korrigieren: 0.2 / 0.1 = 2.0. Die gleiche Korrektur für den quadrierten Durchschnitt v: 0.004 / 0.001 = 4.0. Step = 0.1 * 2 / sqrt(4) = 0.1.
Ohne die Korrektur wäre der erste Schritt 0.1 * 0.2 / sqrt(0.004) = 0.32, mehr als dreimal zu groß, und in einem echten Netzwerk können diese wilden ersten Schritte den Start des Trainings ruinieren.
m = b1 * m + (1 - b1) * g
v = b2 * v + (1 - b2) * g ** 2
m_hat = m / (1 - b1 ** t)
v_hat = v / (1 - b2 ** t)
p = p - lr * m_hat / (np.sqrt(v_hat) + eps)
Bias-Korrektur: dividieren durch (1 - beta hoch t), damit Durchschnitte, die bei Null begannen, in frühen Schritten nicht unterschätzt werden. t zählt Schritte ab 1.
Wörter und Symbole in dieser Lektion
- momentum (beta)
- behalte einen Teil der Geschwindigkeit des letzten Schritts
- RMSProp
- denn jeder Schritt eines Gewichts durch die übliche Lautstärke seines Gradienten geteilt wird
- Adam (m, v, t)
- momentum (m) plus ein pro-Gewicht Volumenregler (v), korrigiert für frühe Schritte (t)
Fülle zuerst first_step_with und first_step_without aus: die Größe von Schritt 1 im Beispiel oben, mit und ohne Bias-Korrektur. Schreibe dann die Klasse Adam(lr, b1=0.9, b2=0.999, eps=1e-8) mit einer Methode step(p, g), die das aktualisierte Parameter-Array zurückgibt.
Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion
Diese Übung öffnet bald
Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.
Dieser Browser blockiert Cookies für learn.floati.life, daher können hier beendigte Lektionen nicht in der richtigen Reihenfolge geöffnet werden. Erlaube Cookies für diese Seite und lade sie neu.