Lehrplan Lektion 65 von 246 · Modul 5: Optimierung
Modul 5: Optimierung

Warum eine gedehnte Schüssel langsam ist (Conditioning)

Warum das wichtig istEchte Verlustlandschaften sind in einigen Richtungen steil und in anderen fast flach. Diese Diskrepanz, nicht die Anzahl der Gewichte, macht den einfachen Gradientenabstieg langsam.

Sieh es dir an

Nimm f = (k x squared + y squared) / 2. Mit k = 1 ist es eine runde Schale. Mit k = 100 ist es ein langes dünnes Tal: steil quer, sanft entlang. Die learning rate muss beiden Richtungen gleichzeitig entsprechen. Die beste einzelne Wahl, lr = 2 / (k + 1), sorgt dafür, dass jeder step (k - 1) / (k + 1) der Distanz in beiden Richtungen beibehält: 0.98 davon, wenn k = 100. Alles Größere führt dazu, dass die steile Richtung überschießt und langsamer zur Ruhe kommt (über 2 / k wächst sie ohne Grenze); alles Kleinere führt dazu, dass die sanfte Richtung noch langsamer kriecht. So zickzackt der Weg quer durch das Tal, während er sich entlang davon bewegt.

Bedingungszahl: das Verhältnis der steilsten zur flachsten Krümmung, hier k. Einfacher Gradientenabstieg benötigt etwa k Schritte, um gute Fortschritte zu machen.

Die Kurve aufrufen: Bevor du startest, schätze, wie viele steps es braucht, um innerhalb von 0.001 vom Boden zu kommen für k = 1, 10 und 100, unter Verwendung der besten festen learning rate, 2 / (k + 1).

Zusammenfassung Stretch verlangsamt den einfachen Abstieg proportional zur Dehnung.

Wörter und Symbole in dieser Lektion
Bedingungszahl
wie viel steiler die steilste Richtung im Vergleich zur flachsten ist
Du bist dran

Fülle my_guess (drei Schrittzählungen) aus, dann schreibe steps_to_converge(k): starte bei (1, 1), verwende lr = 2 / (k + 1) und zähle die Schritte, bis der Abstand zu (0, 0) unter 0.001 liegt (stoppe bei 100,000).

Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion

Diese Übung öffnet bald

Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.