Cancello: tre addestramenti rotti mai visti (IA spenta)
Perché è importante Diagnosticare da solo, con un budget, è l'abilità che questo corso costruisce dal Modulo 8.
Tutor IA spento. Tre addestramenti, ciascuno con un difetto preso dai casi di addestramento di questo modulo. Sono addestramenti nuovi, non i casi di pratica: un altro seme, e difetti di altre entità, quindi i numeri ricordati non coincideranno. Il tuo budget è di 9 sonde in tutto (addestrare un caso sigillato conta come una), contate su ogni esecuzione da quando la pagina si è aperta (ripetere una sonda sullo stesso caso è gratis; una diagnosi sbagliata o una correzione che non funziona costano una sonda).
Ogni caso qui sotto è un addestramento con un difetto piantato dentro. Per ciascuno: spendi sonde per trovare il difetto, poi scrivi una correzione come modifiche alla configurazione che riportano l'addestramento a sano. I difetti di questa lezione: any training fault from this module. Un buon diagnosta raramente ha bisogno di più di due sonde per caso.
| Sonda | Che cosa ti dice | Addestramento sano |
|---|---|---|
loss_curve(c) | La loss di addestramento ogni 25 passi, e la loss su testo mai visto alla fine. Guarda sempre per prima questa. | da 4.55 fino a circa 2.9; mai visto circa 3.0 |
loss_at_init(c) | La loss prima dell'addestramento. Un modello appena creato che indovina in modo uniforme su 95 caratteri dà ln(95). | 4.55 |
leak_check(c) | Un carattere successivo può cambiare una previsione precedente? | False |
show_batch(c) | Un input di addestramento e il suo obiettivo, come testo. | obiettivo = input spostato di un carattere a sinistra |
update_ratio(c) | Dopo il primo passo di Adam, di quanto si sono mossi i pesi rispetto alla loro dimensione. Non è la regola del Modulo 8: quell'intervallo da 0.001 a 0.1 è per i passi di SGD semplice. Il primo passo di Adam muove ogni peso di circa il learning rate qualunque sia il suo gradiente, e questi pesi partono vicino a 0.02, quindi 0.01 / 0.02 dà circa 0.5. Confronta un caso con questo addestramento sano, non con l'intervallo del Modulo 8. | circa 0.5 |
block_change(c) | Quanto il primo blocco cambia ogni vettore all'inizio. | circa 0.3 |
Parole e simboli di questa lezione
- ln(V)
- la loss iniziale di un modello che indovina in modo uniforme su V simboli: 4.55 per 95 caratteri
- cambiamento del blocco
- quanto un blocco cambia un vettore all'inizio; vicino a 1 significa che l'ha sostituito
Compila diagnosis (dal caso al nome del difetto) e fixes (dal caso a un dizionario di modifiche alla configurazione) per i casi A, B e C. Dopo la tua correzione, ogni impostazione deve coincidere con l'addestramento sano.
IA spenta: niente tutor, suggerimenti o soluzione svolta per questo. Solo il tuo ragionamento.
Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione
Questo esercizio si apre presto
Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.
Questo browser blocca i cookie per learn.floati.life, quindi le lezioni che hai finito qui non si possono aprire in ordine. Consenti i cookie per questo sito e ricarica.