Programma Lezione 96 di 246 · Modulo 8: Clinica degli addestramenti I
Modulo 8: Clinica degli addestramenti I

Clinica: difetti del learning rate

Perché è importante Il learning rate è la causa più comune di un addestramento cattivo. Ogni tipo di errore lascia un segno diverso.

Troppo alto: i passi vanno oltre, la loss salta o sale, e il rapporto aggiornamento/peso è vicino a 1 o sopra. Troppo basso: non si muove quasi niente, la loss resta vicino a 2.30 e il rapporto è minuscolo. Abbassato troppo presto: l'addestramento impara per un po', poi smette di migliorare: da lì in poi la loss oscilla solo da un batch all'altro attorno a un livello mediocre (qui tra circa 1.1 e 1.5); la schedulazione mostra il tasso che crolla.

Ogni caso qui sotto è un addestramento con un difetto piantato dentro. Per ciascuno: spendi sonde per trovare il difetto, poi scrivi una correzione come modifiche alla configurazione. I difetti di questa lezione: lr_too_high, lr_too_low, lr_dropped_early. Meno sonde è meglio; un buon diagnosta raramente ne ha bisogno di più di due per caso.

SondaChe cosa ti dice
loss_curve(c)La loss di addestramento ogni 50 passi e l'accuratezza di validazione finale. Guarda sempre per prima questa.
loss_at_init(c)La loss prima dell'addestramento. Un modello a 10 classi appena creato dovrebbe essere vicino a ln(10) = 2.30.
overfit_one_batch(c)Riesce a memorizzare 32 esempi? Una configurazione sana arriva vicino a 0.
grad_norms(c)La dimensione del gradiente per ogni matrice di pesi all'inizio. Zero significa che niente può imparare.
update_ratio(c)La dimensione del passo di SGD semplice rispetto alla dimensione dei pesi. Sano è circa da 0.001 a 0.1 (una regola empirica per l'SGD semplice; il Modulo 14 mostra perché Adam è diverso).
act_stats(c)Le attivazioni nascoste: media, valore più grande, quota di unità morte.
lr_schedule(c)Il learning rate ai passi 0, 50, 100 e così via.
batch_labels(c)Le etichette nei primi batch.
overlap(c)Quanti esempi di validazione compaiono anche nell'addestramento.
Parole e simboli di questa lezione
sonda
una misura rapida di un addestramento, come le dimensioni dei gradienti o le unità morte
rapporto aggiornamento/peso
quanto un passo cambia ogni peso, rispetto alla sua dimensione
Tocca a te

Compila diagnosis (dal caso al nome del difetto) e fixes (dal caso a un dizionario di modifiche alla configurazione) per i casi A, B e C. Una correzione deve togliere il difetto e addestrare fino ad almeno il 90% di accuratezza di validazione.

Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione

Questo esercizio si apre presto

Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.