Schedulazioni con warmup e coseno
Perché è importante Il learning rate migliore non è lo stesso per tutto l'addestramento. I modelli grandi si addestrano quasi sempre con una schedulazione: una partenza dolce, una lunga parte centrale alta, e un atterraggio lento.
Guardalo
Avvia l'animazione. Warmup: il tasso sale in linea retta da quasi zero al suo picco nelle prime centinaia di passi, perché proprio all'inizio i gradienti sono grandi e inaffidabili. Decadimento a coseno: poi scivola giù lungo mezza onda di coseno fino a un piccolo pavimento, così l'addestramento finale fa passi piccoli e attenti e si assesta in un buon punto.
if step < warmup: lr = peak * (step + 1) / warmup
else: progress = (step - warmup) / (total - warmup)
lr = floor + (peak - floor) * 0.5 * (1 + cos(pi * progress))
Riepilogo Sali, viaggia, plana giù.
Parole e simboli di questa lezione
- warmup, coseno
- far partire piccolo il learning rate, poi farlo planare giù lungo un coseno
Scrivi lr_at(step, total, warmup, peak, floor) seguendo le formule qui sopra (i passi contano da 0).
Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione
Questo esercizio si apre presto
Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.
Questo browser blocca i cookie per learn.floati.life, quindi le lezioni che hai finito qui non si possono aprire in ordine. Consenti i cookie per questo sito e ricarica.