Warum eine gedehnte Schüssel langsam ist (Conditioning)
Warum das wichtig istEchte Verlustlandschaften sind in einigen Richtungen steil und in anderen fast flach. Diese Diskrepanz, nicht die Anzahl der Gewichte, macht den einfachen Gradientenabstieg langsam.
Sieh es dir an
Nimm f = (k x squared + y squared) / 2. Mit k = 1 ist es eine runde Schale. Mit k = 100 ist es ein langes dünnes Tal: steil quer, sanft entlang. Die learning rate muss beiden Richtungen gleichzeitig entsprechen. Die beste einzelne Wahl, lr = 2 / (k + 1), sorgt dafür, dass jeder step (k - 1) / (k + 1) der Distanz in beiden Richtungen beibehält: 0.98 davon, wenn k = 100. Alles Größere führt dazu, dass die steile Richtung überschießt und langsamer zur Ruhe kommt (über 2 / k wächst sie ohne Grenze); alles Kleinere führt dazu, dass die sanfte Richtung noch langsamer kriecht. So zickzackt der Weg quer durch das Tal, während er sich entlang davon bewegt.
Bedingungszahl: das Verhältnis der steilsten zur flachsten Krümmung, hier k. Einfacher Gradientenabstieg benötigt etwa k Schritte, um gute Fortschritte zu machen.
Die Kurve aufrufen: Bevor du startest, schätze, wie viele steps es braucht, um innerhalb von 0.001 vom Boden zu kommen für k = 1, 10 und 100, unter Verwendung der besten festen learning rate, 2 / (k + 1).
Zusammenfassung Stretch verlangsamt den einfachen Abstieg proportional zur Dehnung.
Wörter und Symbole in dieser Lektion
- Bedingungszahl
- wie viel steiler die steilste Richtung im Vergleich zur flachsten ist
Fülle my_guess (drei Schrittzählungen) aus, dann schreibe steps_to_converge(k): starte bei (1, 1), verwende lr = 2 / (k + 1) und zähle die Schritte, bis der Abstand zu (0, 0) unter 0.001 liegt (stoppe bei 100,000).
Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion
Diese Übung öffnet bald
Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.
Dieser Browser blockiert Cookies für learn.floati.life, daher können hier beendigte Lektionen nicht in der richtigen Reihenfolge geöffnet werden. Erlaube Cookies für diese Seite und lade sie neu.