La ricetta, per i modelli di sequenze
Perché è importante I due controlli del Modulo 8 (loss all'inizio, memorizzare un batch) valgono ancora. I modelli di sequenze aggiungono nuovi modi di fallire in silenzio, e due controlli economici colgono i peggiori prima che tu spenda qualsiasi calcolo.
Il modello della clinica è un minuscolo GPT: larghezza 16, 2 blocchi, 2 teste, 16 caratteri di contesto, 200 passi di Adam sul testo del corso. Si addestra in un paio di secondi, quindi puoi permetterti di sondare.
Controllo 1: la loss iniziale
Un modello appena creato con pesi piccoli distribuisce le sue ipotesi in modo uniforme sui V caratteri, quindi la sua loss è ln(V). Per 95 caratteri fa 4.55. Molto sopra significa che qualcosa ha la scala sbagliata; molto sotto significa che il modello sta ricevendo un aiuto che non dovrebbe avere.
Controllo 2: niente sbirciate
Cambia l'ultimo carattere di un input. Se cambia una qualsiasi previsione per una posizione precedente, il modello può vedere il futuro (Modulo 13), e ogni numero di addestramento che ottieni è troppo bello per essere vero.
| Sonda | Che cosa ti dice | Addestramento sano |
|---|---|---|
loss_curve(c) | La loss di addestramento ogni 25 passi, e la loss su testo mai visto alla fine. Guarda sempre per prima questa. | da 4.55 fino a circa 2.9; mai visto circa 3.0 |
loss_at_init(c) | La loss prima dell'addestramento. Un modello appena creato che indovina in modo uniforme su 95 caratteri dà ln(95). | 4.55 |
leak_check(c) | Un carattere successivo può cambiare una previsione precedente? | False |
show_batch(c) | Un input di addestramento e il suo obiettivo, come testo. | obiettivo = input spostato di un carattere a sinistra |
update_ratio(c) | Dopo il primo passo di Adam, di quanto si sono mossi i pesi rispetto alla loro dimensione. Non è la regola del Modulo 8: quell'intervallo da 0.001 a 0.1 è per i passi di SGD semplice. Il primo passo di Adam muove ogni peso di circa il learning rate qualunque sia il suo gradiente, e questi pesi partono vicino a 0.02, quindi 0.01 / 0.02 dà circa 0.5. Confronta un caso con questo addestramento sano, non con l'intervallo del Modulo 8. | circa 0.5 |
block_change(c) | Quanto il primo blocco cambia ogni vettore all'inizio. | circa 0.3 |
Parole e simboli di questa lezione
- ln(V)
- la loss iniziale di un modello che indovina in modo uniforme su V simboli: 4.55 per 95 caratteri
- troppo bello per essere vero
- loss di addestramento molto migliore di un addestramento sano, loss su testo mai visto molto peggiore
- cambiamento del blocco
- quanto un blocco cambia un vettore all'inizio; vicino a 1 significa che l'ha sostituito
Scrivi expected_start(V) e my_leak_check(c), usando _init, _logits e DATA della clinica stessa. Devono essere d'accordo con le sonde della clinica.
Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione
Questo esercizio si apre presto
Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.
Questo browser blocca i cookie per learn.floati.life, quindi le lezioni che hai finito qui non si possono aprire in ordine. Consenti i cookie per questo sito e ricarica.