Verlustflächen, auf denen du gehen kannst
Warum das wichtig istJeder Optimierer ist eine andere Art, einen Abhang in einer Landschaft hinunterzugehen, die du nicht sehen kannst. Gehe zuerst eine einfache.
Stell dir den Verlust als Landschaft vor: zwei Gewichte sind deine Position auf einer Karte und der Verlust ist die Höhe. Training ist das Gehen bergab. Der Gradient zeigt bergauf, also geht jeder Schritt in die entgegengesetzte Richtung: position = position - lr * gradient.
Kleine Zahlen
In der Schüssel f(x, y) = x squared + y squared ist der Gradient bei (3, 4) gleich (6, 8). Mit lr 0.1 geht der Schritt zu (3 - 0.6, 4 - 0.8) = (2.4, 3.2). Jeder Schritt behält 80% der Distanz zum Boden, also bist du nach 20 Schritten bei etwa 1% von deinem Startpunkt.
Learning rate: wie weit man relativ zum Gradienten geht. Zu klein kriecht; zu groß überschießt.
Zusammenfassung Schritt gegen den Gradienten; die learning rate legt die Schrittweite fest.
Schreibe descend(grad, start, lr, steps), das die Liste der besuchten Positionen (Start inklusive) als NumPy arrays zurückgibt. Wähle dann my_lr, sodass du bei der Schüssel aus der Lektion, beginnend bei (3, 4), in höchstens 15 Schritten innerhalb von 0.01 vom Boden entfernt bist.
Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion
Diese Übung öffnet bald
Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.
Dieser Browser blockiert Cookies für learn.floati.life, daher können hier beendigte Lektionen nicht in der richtigen Reihenfolge geöffnet werden. Erlaube Cookies für diese Seite und lade sie neu.