Ein schwerer Ball (Impuls)
Warum das wichtig ist Momentum ist die nützlichste Korrektur für flache Täler und fast jeder Optimierer, den du verwenden wirst, hat es.
Sieh es dir zuerst an
Spiele die Animation ab. Der einfache Gradientenabstieg zickzackt über das Tal. Ein schwerer Ball behält einen Teil seiner vorherigen Geschwindigkeit: Die Zickzackbewegungen heben sich auf (links, rechts, links), während der stetige Abzug bergab entlang des Tals Schritt für Schritt hinzukommt. So beschleunigt er über den Talboden.
Nenne es
v = beta * v + grad # velocity: mostly the old velocity, plus the new push
p = p - lr * v
Mit beta = 0.9 erinnert sich der Ball an etwa die letzten 10 Schübe.
Warum einfacher Abstieg hier langsam ist
In dieser Schüssel ist die steile Richtung 50 Mal steiler als die sanfte. Die Lernrate des einfachen Abstiegs wird durch die steile Richtung begrenzt: über 2/50 = 0.04 wachsen die steps über das Tal und es explodiert. Kurz unter der Grenze, bei 0.039, zickzackt es über das Tal (jeder step schießt über und landet auf der anderen Seite), während es sich entlang bewegt, weil 0.039 eine winzige Rate für die sanfte Richtung ist. Momentum kann eine größere Rate nutzen und seine Geschwindigkeit entlang des Tals beibehalten: es schießt in der steilen Richtung auch über, aber diese Schwankungen heben sich auf, während die Schübe entlang des Bodens sich addieren.
(Bei genau lr = 1/50 = 0.02 gibt es überhaupt kein Zickzack: ein step landet auf dem Talboden, und der Rest ist das langsame Kriechen. Probier es aus.)
(Die Szene zeichnet ein sanfteres Tal, 25 Mal steiler über die Breite, mit beta 0.5, damit seine Pfade auf den Bildschirm passen; die Zahlen in dieser Lektion sind für das 50 Mal Tal, das du codest.)
Momentum: eine laufende Summe der letzten Gradienten, die Zickzackbewegungen glättet und in konsistenten Richtungen Geschwindigkeit aufbaut.
Wörter und Symbole in dieser Lektion
- momentum (beta)
- behalte einen Teil der Geschwindigkeit des letzten Schritts
Schreib steps_plain(lr) und steps_momentum(lr, beta): Beginne bei (1, 1) in der gestreckten Schüssel und zähle die Schritte, bis der Abstand zum Boden unter 0.001 liegt (höchstens 20.000). Gib jedem eigene gute Einstellungen: einfacher Abstieg mit lr 0.039, knapp unter seiner Grenze, und Momentum mit lr 0.06 und beta 0.6. Momentum darf höchstens ein Drittel der Schritte brauchen.
Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion
Diese Übung öffnet bald
Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.
Dieser Browser blockiert Cookies für learn.floati.life, daher können hier beendigte Lektionen nicht in der richtigen Reihenfolge geöffnet werden. Erlaube Cookies für diese Seite und lade sie neu.