Fidarsi dell'aiutante? Edizione sequenze
Perché è importante Stessa abilità del Modulo 8, difetti più difficili: diversi si somigliano guardando solo la curva di loss, quindi un aiutante che legge solo le curve li sbaglia con piena sicurezza.
Un aiutante IA ha nominato un difetto per ciascuno di otto addestramenti rotti. Alcune affermazioni sono sbagliate. Attento alle coppie che condividono un sintomo: due difetti possono entrambi rendere la loss di addestramento sospettosamente bassa, e due possono entrambi bloccarla.
| Sonda | Che cosa ti dice | Addestramento sano |
|---|---|---|
loss_curve(c) | La loss di addestramento ogni 25 passi, e la loss su testo mai visto alla fine. Guarda sempre per prima questa. | da 4.55 fino a circa 2.9; mai visto circa 3.0 |
loss_at_init(c) | La loss prima dell'addestramento. Un modello appena creato che indovina in modo uniforme su 95 caratteri dà ln(95). | 4.55 |
leak_check(c) | Un carattere successivo può cambiare una previsione precedente? | False |
show_batch(c) | Un input di addestramento e il suo obiettivo, come testo. | obiettivo = input spostato di un carattere a sinistra |
update_ratio(c) | Dopo il primo passo di Adam, di quanto si sono mossi i pesi rispetto alla loro dimensione. Non è la regola del Modulo 8: quell'intervallo da 0.001 a 0.1 è per i passi di SGD semplice. Il primo passo di Adam muove ogni peso di circa il learning rate qualunque sia il suo gradiente, e questi pesi partono vicino a 0.02, quindi 0.01 / 0.02 dà circa 0.5. Confronta un caso con questo addestramento sano, non con l'intervallo del Modulo 8. | circa 0.5 |
block_change(c) | Quanto il primo blocco cambia ogni vettore all'inizio. | circa 0.3 |
Parole e simboli di questa lezione
- ln(V)
- la loss iniziale di un modello che indovina in modo uniforme su V simboli: 4.55 per 95 caratteri
- cambiamento del blocco
- quanto un blocco cambia un vettore all'inizio; vicino a 1 significa che l'ha sostituito
Per ogni caso da A a H, imposta verdicts[case] su True (l'aiutante ha ragione) o False. Te ne servono almeno 7 giusti su 8.
Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione
Questo esercizio si apre presto
Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.
Questo browser blocca i cookie per learn.floati.life, quindi le lezioni che hai finito qui non si possono aprire in ordine. Consenti i cookie per questo sito e ricarica.