Programma Lezione 165 di 246 · Modulo 14: Clinica degli addestramenti II
Modulo 14: Clinica degli addestramenti II

Cancello: tre addestramenti rotti mai visti (IA spenta)

Perché è importante Diagnosticare da solo, con un budget, è l'abilità che questo corso costruisce dal Modulo 8.

Tutor IA spento. Tre addestramenti, ciascuno con un difetto preso dai casi di addestramento di questo modulo. Sono addestramenti nuovi, non i casi di pratica: un altro seme, e difetti di altre entità, quindi i numeri ricordati non coincideranno. Il tuo budget è di 9 sonde in tutto (addestrare un caso sigillato conta come una), contate su ogni esecuzione da quando la pagina si è aperta (ripetere una sonda sullo stesso caso è gratis; una diagnosi sbagliata o una correzione che non funziona costano una sonda).

Ogni caso qui sotto è un addestramento con un difetto piantato dentro. Per ciascuno: spendi sonde per trovare il difetto, poi scrivi una correzione come modifiche alla configurazione che riportano l'addestramento a sano. I difetti di questa lezione: any training fault from this module. Un buon diagnosta raramente ha bisogno di più di due sonde per caso.

SondaChe cosa ti diceAddestramento sano
loss_curve(c)La loss di addestramento ogni 25 passi, e la loss su testo mai visto alla fine. Guarda sempre per prima questa.da 4.55 fino a circa 2.9; mai visto circa 3.0
loss_at_init(c)La loss prima dell'addestramento. Un modello appena creato che indovina in modo uniforme su 95 caratteri dà ln(95).4.55
leak_check(c)Un carattere successivo può cambiare una previsione precedente?False
show_batch(c)Un input di addestramento e il suo obiettivo, come testo.obiettivo = input spostato di un carattere a sinistra
update_ratio(c)Dopo il primo passo di Adam, di quanto si sono mossi i pesi rispetto alla loro dimensione. Non è la regola del Modulo 8: quell'intervallo da 0.001 a 0.1 è per i passi di SGD semplice. Il primo passo di Adam muove ogni peso di circa il learning rate qualunque sia il suo gradiente, e questi pesi partono vicino a 0.02, quindi 0.01 / 0.02 dà circa 0.5. Confronta un caso con questo addestramento sano, non con l'intervallo del Modulo 8.circa 0.5
block_change(c)Quanto il primo blocco cambia ogni vettore all'inizio.circa 0.3
Parole e simboli di questa lezione
ln(V)
la loss iniziale di un modello che indovina in modo uniforme su V simboli: 4.55 per 95 caratteri
cambiamento del blocco
quanto un blocco cambia un vettore all'inizio; vicino a 1 significa che l'ha sostituito
Tocca a te

Compila diagnosis (dal caso al nome del difetto) e fixes (dal caso a un dizionario di modifiche alla configurazione) per i casi A, B e C. Dopo la tua correzione, ogni impostazione deve coincidere con l'addestramento sano.

IA spenta: niente tutor, suggerimenti o soluzione svolta per questo. Solo il tuo ragionamento.

Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione

Questo esercizio si apre presto

Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.