Clinica: troppo bello, o troppo bloccato
Perché è importante Gli addestramenti più pericolosi sono quelli che sembrano ottimi. Un modello che può vedere le sue risposte riporta una loss di addestramento meravigliosa ed è inutile.
Niente maschera: il modello può sbirciare il carattere successivo, quindi la sua loss di addestramento scende più di quella di un addestramento sano, mentre la sua loss su testo mai visto (misurata con onestà, solo dai caratteri precedenti) è molto peggiore. Obiettivi non spostati: l'obiettivo è l'input stesso, quindi il modello impara a copiare il carattere che sta guardando. La loss di addestramento va quasi a 0, e su testo mai visto è terribile. Niente residuo: ogni blocco sostituisce h invece di aggiungerci sopra, quindi la pila è difficile da addestrare e la loss si blocca presto.
Ogni caso qui sotto è un addestramento con un difetto piantato dentro. Per ciascuno: spendi sonde per trovare il difetto, poi scrivi una correzione come modifiche alla configurazione che riportano l'addestramento a sano. I difetti di questa lezione: no_mask, targets_not_shifted, no_residual. Un buon diagnosta raramente ha bisogno di più di due sonde per caso.
| Sonda | Che cosa ti dice | Addestramento sano |
|---|---|---|
loss_curve(c) | La loss di addestramento ogni 25 passi, e la loss su testo mai visto alla fine. Guarda sempre per prima questa. | da 4.55 fino a circa 2.9; mai visto circa 3.0 |
loss_at_init(c) | La loss prima dell'addestramento. Un modello appena creato che indovina in modo uniforme su 95 caratteri dà ln(95). | 4.55 |
leak_check(c) | Un carattere successivo può cambiare una previsione precedente? | False |
show_batch(c) | Un input di addestramento e il suo obiettivo, come testo. | obiettivo = input spostato di un carattere a sinistra |
update_ratio(c) | Dopo il primo passo di Adam, di quanto si sono mossi i pesi rispetto alla loro dimensione. Non è la regola del Modulo 8: quell'intervallo da 0.001 a 0.1 è per i passi di SGD semplice. Il primo passo di Adam muove ogni peso di circa il learning rate qualunque sia il suo gradiente, e questi pesi partono vicino a 0.02, quindi 0.01 / 0.02 dà circa 0.5. Confronta un caso con questo addestramento sano, non con l'intervallo del Modulo 8. | circa 0.5 |
block_change(c) | Quanto il primo blocco cambia ogni vettore all'inizio. | circa 0.3 |
Parole e simboli di questa lezione
- ln(V)
- la loss iniziale di un modello che indovina in modo uniforme su V simboli: 4.55 per 95 caratteri
- cambiamento del blocco
- quanto un blocco cambia un vettore all'inizio; vicino a 1 significa che l'ha sostituito
Compila diagnosis (dal caso al nome del difetto) e fixes (dal caso a un dizionario di modifiche alla configurazione) per i casi A, B e C. Dopo la tua correzione, ogni impostazione deve coincidere con l'addestramento sano.
Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione
Questo esercizio si apre presto
Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.
Questo browser blocca i cookie per learn.floati.life, quindi le lezioni che hai finito qui non si possono aprire in ordine. Consenti i cookie per questo sito e ricarica.