Rauschige Schritte (SGD und minibatches)
Warum das wichtig istEchte Datensätze haben Millionen von Beispielen. Den exakten Gradienten auf allen für jeden Schritt zu berechnen ist viel zu langsam, also schätzen wir ihn aus einem kleinen Batch.
A minibatch Gradient nutzt zum Beispiel 32 zufällige Beispiele statt aller 512. Es zeigt grob bergab mit etwas Rauschen. Du erhältst 16 billige verrauschte Schritte für den Preis eines exakten Schritts und in der Praxis gewinnt das leicht.
Was das Rauschen bewirkt
Die Loss-Kurve wird gezackt statt glatt und nähert sich am Boden nie vollständig an: sie wackelt um das Minimum herum. Das Senken der learning rate spät im Training beruhigt das Wackeln. Ein wenig Rauschen ist sogar hilfreich in großen Netzwerken, da es den Pfad aus schlechten Stellen schüttelt.
SGD: stochastischer Gradientenabstieg, Gradientenabstieg mit Minibatch-Schätzungen des Gradienten.
Zusammenfassung Viele billige verrauschte Schritte schlagen wenige exakte.
Wörter und Symbole in dieser Lektion
- SGD
- Gradientenabstieg mit kleinen zufälligen Batches
- minibatch
- ein kleiner zufälliger Ausschnitt der Daten, der für einen Schritt verwendet wird
Schreibe sgd(X, y, lr, batch, epochs, seed) für lineare Regression (loss: mean squared error), wobei jede Epoche gemischt wird und (w, losses) zurückgegeben wird, wobei losses der full-data loss nach jeder Epoche ist. Mit batch 32, lr 0.05 und 10 epochs muss es unter 0.02 enden.
Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion
Diese Übung öffnet bald
Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.
Dieser Browser blockiert Cookies für learn.floati.life, daher können hier beendigte Lektionen nicht in der richtigen Reihenfolge geöffnet werden. Erlaube Cookies für diese Seite und lade sie neu.