Programma Lezione 72 di 246 · Modulo 5: Ottimizzazione
Modulo 5: Ottimizzazione

Schedulazioni con warmup e coseno

Perché è importante Il learning rate migliore non è lo stesso per tutto l'addestramento. I modelli grandi si addestrano quasi sempre con una schedulazione: una partenza dolce, una lunga parte centrale alta, e un atterraggio lento.

Guardalo

Avvia l'animazione. Warmup: il tasso sale in linea retta da quasi zero al suo picco nelle prime centinaia di passi, perché proprio all'inizio i gradienti sono grandi e inaffidabili. Decadimento a coseno: poi scivola giù lungo mezza onda di coseno fino a un piccolo pavimento, così l'addestramento finale fa passi piccoli e attenti e si assesta in un buon punto.

if step < warmup:  lr = peak * (step + 1) / warmup
else:              progress = (step - warmup) / (total - warmup)
                   lr = floor + (peak - floor) * 0.5 * (1 + cos(pi * progress))

Riepilogo Sali, viaggia, plana giù.

Parole e simboli di questa lezione
warmup, coseno
far partire piccolo il learning rate, poi farlo planare giù lungo un coseno
Tocca a te

Scrivi lr_at(step, total, warmup, peak, floor) seguendo le formule qui sopra (i passi contano da 0).

Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione

Questo esercizio si apre presto

Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.