Lehrplan Lektion 66 von 246 · Modul 5: Optimierung
Modul 5: Optimierung

Rauschige Schritte (SGD und minibatches)

Warum das wichtig istEchte Datensätze haben Millionen von Beispielen. Den exakten Gradienten auf allen für jeden Schritt zu berechnen ist viel zu langsam, also schätzen wir ihn aus einem kleinen Batch.

A minibatch Gradient nutzt zum Beispiel 32 zufällige Beispiele statt aller 512. Es zeigt grob bergab mit etwas Rauschen. Du erhältst 16 billige verrauschte Schritte für den Preis eines exakten Schritts und in der Praxis gewinnt das leicht.

Was das Rauschen bewirkt

Die Loss-Kurve wird gezackt statt glatt und nähert sich am Boden nie vollständig an: sie wackelt um das Minimum herum. Das Senken der learning rate spät im Training beruhigt das Wackeln. Ein wenig Rauschen ist sogar hilfreich in großen Netzwerken, da es den Pfad aus schlechten Stellen schüttelt.

SGD: stochastischer Gradientenabstieg, Gradientenabstieg mit Minibatch-Schätzungen des Gradienten.

Zusammenfassung Viele billige verrauschte Schritte schlagen wenige exakte.

Wörter und Symbole in dieser Lektion
SGD
Gradientenabstieg mit kleinen zufälligen Batches
minibatch
ein kleiner zufälliger Ausschnitt der Daten, der für einen Schritt verwendet wird
Du bist dran

Schreibe sgd(X, y, lr, batch, epochs, seed) für lineare Regression (loss: mean squared error), wobei jede Epoche gemischt wird und (w, losses) zurückgegeben wird, wobei losses der full-data loss nach jeder Epoche ist. Mit batch 32, lr 0.05 und 10 epochs muss es unter 0.02 enden.

Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion

Diese Übung öffnet bald

Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.