Programma Lezione 145 di 246 · Modulo 13: Attenzione e transformer
Modulo 13: Attenzione e transformer

La maschera causale: niente sbirciate

Perché è importante Un modello addestrato a prevedere il carattere successivo non deve vedere il carattere successivo. Senza una maschera può semplicemente copiare la risposta, sembrare ottimo in addestramento, e poi fallire quando genera, perché al momento della generazione il futuro non esiste ancora.

Guardalo

Avvia l'animazione. La posizione i può prestare attenzione solo alle posizioni da 0 a i. Prima della softmax, ogni punteggio sopra la diagonale viene messo a meno infinito, così il suo peso diventa esattamente 0. I pesi formano allora un triangolo inferiore.

Il test per una fuga è diretto: cambia un carattere in posizione j, e niente di ciò che il modello calcola per le posizioni prima di j deve cambiare.

Quando il corso ha addestrato un GPT di larghezza 32 per 1,200 passi senza la maschera, la sua loss di addestramento è scesa a 0.10, contro 1.51 con la maschera: aveva imparato a copiare la risposta dalla posizione successiva, quasi alla perfezione. Misurata con onestà, su testo mai visto e senza lasciarlo guardare avanti, la sua loss era 8.6 contro 2.3. Il numero più basso era una bugia: il modello era molto peggiore. (All'inizio, a 400 passi, le due esecuzioni sembravano ancora simili, 2.28 contro 2.24. Copiare richiede un po' per essere scoperto, e poi prende il sopravvento.)

Parole e simboli di questa lezione
attenzione
softmax dei punteggi query-key, usata per fare la media dei value
maschera causale
punteggi sopra la diagonale messi a meno infinito: nessuna posizione vede il futuro
testa
una di H attenzioni più strette eseguite una accanto all'altra, ognuna con il proprio schema
Tocca a te

Scrivi causal_attention(X, Wq, Wk, Wv) come nella lezione 4 ma con la maschera. Poi leaks(f): restituisci True se cambiare l'ultima riga di una X casuale cambia una qualsiasi riga precedente dell'output di f. Qui f è qualsiasi funzione di attenzione chiamata come la tua, f(X, Wq, Wk, Wv), che restituisce (output, weights); crea X e pesi casuali dentro leaks.

Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione

Questo esercizio si apre presto

Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.