Programma Lezione 159 di 246 · Modulo 14: Clinica degli addestramenti II
Modulo 14: Clinica degli addestramenti II

La ricetta, per i modelli di sequenze

Perché è importante I due controlli del Modulo 8 (loss all'inizio, memorizzare un batch) valgono ancora. I modelli di sequenze aggiungono nuovi modi di fallire in silenzio, e due controlli economici colgono i peggiori prima che tu spenda qualsiasi calcolo.

Il modello della clinica è un minuscolo GPT: larghezza 16, 2 blocchi, 2 teste, 16 caratteri di contesto, 200 passi di Adam sul testo del corso. Si addestra in un paio di secondi, quindi puoi permetterti di sondare.

Controllo 1: la loss iniziale

Un modello appena creato con pesi piccoli distribuisce le sue ipotesi in modo uniforme sui V caratteri, quindi la sua loss è ln(V). Per 95 caratteri fa 4.55. Molto sopra significa che qualcosa ha la scala sbagliata; molto sotto significa che il modello sta ricevendo un aiuto che non dovrebbe avere.

Controllo 2: niente sbirciate

Cambia l'ultimo carattere di un input. Se cambia una qualsiasi previsione per una posizione precedente, il modello può vedere il futuro (Modulo 13), e ogni numero di addestramento che ottieni è troppo bello per essere vero.

SondaChe cosa ti diceAddestramento sano
loss_curve(c)La loss di addestramento ogni 25 passi, e la loss su testo mai visto alla fine. Guarda sempre per prima questa.da 4.55 fino a circa 2.9; mai visto circa 3.0
loss_at_init(c)La loss prima dell'addestramento. Un modello appena creato che indovina in modo uniforme su 95 caratteri dà ln(95).4.55
leak_check(c)Un carattere successivo può cambiare una previsione precedente?False
show_batch(c)Un input di addestramento e il suo obiettivo, come testo.obiettivo = input spostato di un carattere a sinistra
update_ratio(c)Dopo il primo passo di Adam, di quanto si sono mossi i pesi rispetto alla loro dimensione. Non è la regola del Modulo 8: quell'intervallo da 0.001 a 0.1 è per i passi di SGD semplice. Il primo passo di Adam muove ogni peso di circa il learning rate qualunque sia il suo gradiente, e questi pesi partono vicino a 0.02, quindi 0.01 / 0.02 dà circa 0.5. Confronta un caso con questo addestramento sano, non con l'intervallo del Modulo 8.circa 0.5
block_change(c)Quanto il primo blocco cambia ogni vettore all'inizio.circa 0.3
Parole e simboli di questa lezione
ln(V)
la loss iniziale di un modello che indovina in modo uniforme su V simboli: 4.55 per 95 caratteri
troppo bello per essere vero
loss di addestramento molto migliore di un addestramento sano, loss su testo mai visto molto peggiore
cambiamento del blocco
quanto un blocco cambia un vettore all'inizio; vicino a 1 significa che l'ha sostituito
Tocca a te

Scrivi expected_start(V) e my_leak_check(c), usando _init, _logits e DATA della clinica stessa. Devono essere d'accordo con le sonde della clinica.

Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione

Questo esercizio si apre presto

Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.