Programma Lezione 164 di 246 · Modulo 14: Clinica degli addestramenti II
Modulo 14: Clinica degli addestramenti II

Fidarsi dell'aiutante? Edizione sequenze

Perché è importante Stessa abilità del Modulo 8, difetti più difficili: diversi si somigliano guardando solo la curva di loss, quindi un aiutante che legge solo le curve li sbaglia con piena sicurezza.

Un aiutante IA ha nominato un difetto per ciascuno di otto addestramenti rotti. Alcune affermazioni sono sbagliate. Attento alle coppie che condividono un sintomo: due difetti possono entrambi rendere la loss di addestramento sospettosamente bassa, e due possono entrambi bloccarla.

SondaChe cosa ti diceAddestramento sano
loss_curve(c)La loss di addestramento ogni 25 passi, e la loss su testo mai visto alla fine. Guarda sempre per prima questa.da 4.55 fino a circa 2.9; mai visto circa 3.0
loss_at_init(c)La loss prima dell'addestramento. Un modello appena creato che indovina in modo uniforme su 95 caratteri dà ln(95).4.55
leak_check(c)Un carattere successivo può cambiare una previsione precedente?False
show_batch(c)Un input di addestramento e il suo obiettivo, come testo.obiettivo = input spostato di un carattere a sinistra
update_ratio(c)Dopo il primo passo di Adam, di quanto si sono mossi i pesi rispetto alla loro dimensione. Non è la regola del Modulo 8: quell'intervallo da 0.001 a 0.1 è per i passi di SGD semplice. Il primo passo di Adam muove ogni peso di circa il learning rate qualunque sia il suo gradiente, e questi pesi partono vicino a 0.02, quindi 0.01 / 0.02 dà circa 0.5. Confronta un caso con questo addestramento sano, non con l'intervallo del Modulo 8.circa 0.5
block_change(c)Quanto il primo blocco cambia ogni vettore all'inizio.circa 0.3
Parole e simboli di questa lezione
ln(V)
la loss iniziale di un modello che indovina in modo uniforme su V simboli: 4.55 per 95 caratteri
cambiamento del blocco
quanto un blocco cambia un vettore all'inizio; vicino a 1 significa che l'ha sostituito
Tocca a te

Per ogni caso da A a H, imposta verdicts[case] su True (l'aiutante ha ragione) o False. Te ne servono almeno 7 giusti su 8.

Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione

Questo esercizio si apre presto

Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.