Aufwärmen und Cosine-Schedules
Warum das wichtig istDie beste learning rate ist nicht während des gesamten Trainings gleich. Große Modelle werden fast immer mit einem schedule trainiert: ein sanfter Start, ein langes hohes Mittelstück und eine langsame Landung.
Sieh es dir an
Spiele die Animation ab. Warmup: die Rate steigt in einer geraden Linie von fast null bis zu ihrem Höhepunkt über die ersten paar hundert Schritte an, weil zu Beginn die Gradienten groß und unzuverlässig sind. Cosine decay: dann gleitet sie entlang einer halben Cosinuswelle zu einem kleinen Boden ab, sodass das späte Training kleine vorsichtige Schritte macht und sich in einer guten Position einpendelt.
if step < warmup: lr = peak * (step + 1) / warmup
else: progress = (step - warmup) / (total - warmup)
lr = floor + (peak - floor) * 0.5 * (1 + cos(pi * progress))
Zusammenfassung Ramp up, cruise, glide down.
Wörter und Symbole in dieser Lektion
- warmup, cosine
- Starte die learning rate klein, dann gleite sie entlang eines Cosinus nach unten.
Schreibe lr_at(step, total, warmup, peak, floor) gemäß den oben genannten Formeln (die Schritte zählen ab 0).
Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion
Diese Übung öffnet bald
Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.
Dieser Browser blockiert Cookies für learn.floati.life, daher können hier beendigte Lektionen nicht in der richtigen Reihenfolge geöffnet werden. Erlaube Cookies für diese Seite und lade sie neu.