Programma Lezione 160 di 246 · Modulo 14: Clinica degli addestramenti II
Modulo 14: Clinica degli addestramenti II

Clinica: troppo bello, o troppo bloccato

Perché è importante Gli addestramenti più pericolosi sono quelli che sembrano ottimi. Un modello che può vedere le sue risposte riporta una loss di addestramento meravigliosa ed è inutile.

Niente maschera: il modello può sbirciare il carattere successivo, quindi la sua loss di addestramento scende più di quella di un addestramento sano, mentre la sua loss su testo mai visto (misurata con onestà, solo dai caratteri precedenti) è molto peggiore. Obiettivi non spostati: l'obiettivo è l'input stesso, quindi il modello impara a copiare il carattere che sta guardando. La loss di addestramento va quasi a 0, e su testo mai visto è terribile. Niente residuo: ogni blocco sostituisce h invece di aggiungerci sopra, quindi la pila è difficile da addestrare e la loss si blocca presto.

Ogni caso qui sotto è un addestramento con un difetto piantato dentro. Per ciascuno: spendi sonde per trovare il difetto, poi scrivi una correzione come modifiche alla configurazione che riportano l'addestramento a sano. I difetti di questa lezione: no_mask, targets_not_shifted, no_residual. Un buon diagnosta raramente ha bisogno di più di due sonde per caso.

SondaChe cosa ti diceAddestramento sano
loss_curve(c)La loss di addestramento ogni 25 passi, e la loss su testo mai visto alla fine. Guarda sempre per prima questa.da 4.55 fino a circa 2.9; mai visto circa 3.0
loss_at_init(c)La loss prima dell'addestramento. Un modello appena creato che indovina in modo uniforme su 95 caratteri dà ln(95).4.55
leak_check(c)Un carattere successivo può cambiare una previsione precedente?False
show_batch(c)Un input di addestramento e il suo obiettivo, come testo.obiettivo = input spostato di un carattere a sinistra
update_ratio(c)Dopo il primo passo di Adam, di quanto si sono mossi i pesi rispetto alla loro dimensione. Non è la regola del Modulo 8: quell'intervallo da 0.001 a 0.1 è per i passi di SGD semplice. Il primo passo di Adam muove ogni peso di circa il learning rate qualunque sia il suo gradiente, e questi pesi partono vicino a 0.02, quindi 0.01 / 0.02 dà circa 0.5. Confronta un caso con questo addestramento sano, non con l'intervallo del Modulo 8.circa 0.5
block_change(c)Quanto il primo blocco cambia ogni vettore all'inizio.circa 0.3
Parole e simboli di questa lezione
ln(V)
la loss iniziale di un modello che indovina in modo uniforme su V simboli: 4.55 per 95 caratteri
cambiamento del blocco
quanto un blocco cambia un vettore all'inizio; vicino a 1 significa che l'ha sostituito
Tocca a te

Compila diagnosis (dal caso al nome del difetto) e fixes (dal caso a un dizionario di modifiche alla configurazione) per i casi A, B e C. Dopo la tua correzione, ogni impostazione deve coincidere con l'addestramento sano.

Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione

Questo esercizio si apre presto

Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.