Programma Lezione 161 di 246 · Modulo 14: Clinica degli addestramenti II
Modulo 14: Clinica degli addestramenti II

Clinica: dimensione del passo e pesi iniziali

Perché è importante I difetti del learning rate e della scala del Modulo 8 ritornano, con le impronte di Adam sopra.

Con Adam, ogni peso si muove di circa il learning rate al primo passo, qualunque sia il suo gradiente. Quindi il rapporto di aggiornamento è una lettura diretta della dimensione del passo: circa 0.5 nell'addestramento sano (0.01 contro pesi vicini a 0.02), circa 15 quando il tasso è troppo alto (la loss allora barcolla), e circa 0.0005 quando è troppo basso (la loss lascia a malapena 4.55). Pesi iniziali troppo grandi rendono le primissime previsioni selvaggiamente sicure e sbagliate: la loss iniziale è molto sopra 4.55.

Ogni caso qui sotto è un addestramento con un difetto piantato dentro. Per ciascuno: spendi sonde per trovare il difetto, poi scrivi una correzione come modifiche alla configurazione che riportano l'addestramento a sano. I difetti di questa lezione: lr_too_high, lr_too_low, init_too_big. Un buon diagnosta raramente ha bisogno di più di due sonde per caso.

SondaChe cosa ti diceAddestramento sano
loss_curve(c)La loss di addestramento ogni 25 passi, e la loss su testo mai visto alla fine. Guarda sempre per prima questa.da 4.55 fino a circa 2.9; mai visto circa 3.0
loss_at_init(c)La loss prima dell'addestramento. Un modello appena creato che indovina in modo uniforme su 95 caratteri dà ln(95).4.55
leak_check(c)Un carattere successivo può cambiare una previsione precedente?False
show_batch(c)Un input di addestramento e il suo obiettivo, come testo.obiettivo = input spostato di un carattere a sinistra
update_ratio(c)Dopo il primo passo di Adam, di quanto si sono mossi i pesi rispetto alla loro dimensione. Non è la regola del Modulo 8: quell'intervallo da 0.001 a 0.1 è per i passi di SGD semplice. Il primo passo di Adam muove ogni peso di circa il learning rate qualunque sia il suo gradiente, e questi pesi partono vicino a 0.02, quindi 0.01 / 0.02 dà circa 0.5. Confronta un caso con questo addestramento sano, non con l'intervallo del Modulo 8.circa 0.5
block_change(c)Quanto il primo blocco cambia ogni vettore all'inizio.circa 0.3
Parole e simboli di questa lezione
ln(V)
la loss iniziale di un modello che indovina in modo uniforme su V simboli: 4.55 per 95 caratteri
cambiamento del blocco
quanto un blocco cambia un vettore all'inizio; vicino a 1 significa che l'ha sostituito
Tocca a te

Compila diagnosis (dal caso al nome del difetto) e fixes (dal caso a un dizionario di modifiche alla configurazione) per i casi A, B e C. Dopo la tua correzione, ogni impostazione deve coincidere con l'addestramento sano.

Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione

Questo esercizio si apre presto

Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.