Lehrplan Lektion 72 von 246 · Modul 5: Optimierung
Modul 5: Optimierung

Aufwärmen und Cosine-Schedules

Warum das wichtig istDie beste learning rate ist nicht während des gesamten Trainings gleich. Große Modelle werden fast immer mit einem schedule trainiert: ein sanfter Start, ein langes hohes Mittelstück und eine langsame Landung.

Sieh es dir an

Spiele die Animation ab. Warmup: die Rate steigt in einer geraden Linie von fast null bis zu ihrem Höhepunkt über die ersten paar hundert Schritte an, weil zu Beginn die Gradienten groß und unzuverlässig sind. Cosine decay: dann gleitet sie entlang einer halben Cosinuswelle zu einem kleinen Boden ab, sodass das späte Training kleine vorsichtige Schritte macht und sich in einer guten Position einpendelt.

if step < warmup:  lr = peak * (step + 1) / warmup
else:              progress = (step - warmup) / (total - warmup)
                   lr = floor + (peak - floor) * 0.5 * (1 + cos(pi * progress))

Zusammenfassung Ramp up, cruise, glide down.

Wörter und Symbole in dieser Lektion
warmup, cosine
Starte die learning rate klein, dann gleite sie entlang eines Cosinus
nach unten.
Du bist dran

Schreibe lr_at(step, total, warmup, peak, floor) gemäß den oben genannten Formeln (die Schritte zählen ab 0).

Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion

Diese Übung öffnet bald

Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.