Batch size und learning rate zusammen
Warum das wichtig ist Batch size und learning rate sind keine getrennten Regler. Ändere einen und der beste Wert des anderen verschiebt sich.
Ein größerer Batch liefert einen weniger verrauschten Gradienten, also kann er einen größeren Schritt sicher machen. Eine grobe Regel, von der viele Leute starten: Wenn du die Batch size verdoppelst, kannst du die learning rate grob verdoppeln, bis zu einem Punkt, an dem der Schritt instabil wird.
Ergebnisse schwanken auch von Seed zu Seed, also vergleiche Einstellungen über mehrere Seeds, niemals über einen einzigen Durchlauf.
Noch eine Falle: die Labels hier enthalten Rauschen mit einer Streuung von 0.1, also kann keine Einstellung den loss unter etwa 0.1 zum Quadrat = 0.01 drücken. Nahe dieser Untergrenze liegen mehrere Paare gleichauf (zum Beispiel 0.0113 gegen 0.0114). Ein "Gewinner" mit weniger als dem seed-zu-seed Wackeln ist kein Gewinner, also listet der Durchlauf auch jedes Paar innerhalb von 5% des Besten.
Zusammenfassung Tune sie zusammen und berechne den Durchschnitt über die seeds.
Wörter und Symbole in dieser Lektion
- SGD
- Gradientenabstieg mit kleinen zufälligen Batches
Vorhersage zuerst: in my_pick schreibe das (batch, lr) Paar aus dem Gitter, das deiner Meinung nach nach 2 Epochen mit dem niedrigsten loss endet. Schreibe dann sweep(X, y, batches, lrs, seeds), das ein Dictionary von (batch, lr) zum mittleren finalen loss über die seeds zurückgibt (benutze das gegebene sgd), und best(results), das das beste Paar zurückgibt.
Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion
Diese Übung öffnet bald
Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.
Dieser Browser blockiert Cookies für learn.floati.life, daher können hier beendigte Lektionen nicht in der richtigen Reihenfolge geöffnet werden. Erlaube Cookies für diese Seite und lade sie neu.