La maschera causale: niente sbirciate
Perché è importante Un modello addestrato a prevedere il carattere successivo non deve vedere il carattere successivo. Senza una maschera può semplicemente copiare la risposta, sembrare ottimo in addestramento, e poi fallire quando genera, perché al momento della generazione il futuro non esiste ancora.
Guardalo
Avvia l'animazione. La posizione i può prestare attenzione solo alle posizioni da 0 a i. Prima della softmax, ogni punteggio sopra la diagonale viene messo a meno infinito, così il suo peso diventa esattamente 0. I pesi formano allora un triangolo inferiore.
Il test per una fuga è diretto: cambia un carattere in posizione j, e niente di ciò che il modello calcola per le posizioni prima di j deve cambiare.
Quando il corso ha addestrato un GPT di larghezza 32 per 1,200 passi senza la maschera, la sua loss di addestramento è scesa a 0.10, contro 1.51 con la maschera: aveva imparato a copiare la risposta dalla posizione successiva, quasi alla perfezione. Misurata con onestà, su testo mai visto e senza lasciarlo guardare avanti, la sua loss era 8.6 contro 2.3. Il numero più basso era una bugia: il modello era molto peggiore. (All'inizio, a 400 passi, le due esecuzioni sembravano ancora simili, 2.28 contro 2.24. Copiare richiede un po' per essere scoperto, e poi prende il sopravvento.)
Parole e simboli di questa lezione
- attenzione
- softmax dei punteggi query-key, usata per fare la media dei value
- maschera causale
- punteggi sopra la diagonale messi a meno infinito: nessuna posizione vede il futuro
- testa
- una di H attenzioni più strette eseguite una accanto all'altra, ognuna con il proprio schema
Scrivi causal_attention(X, Wq, Wk, Wv) come nella lezione 4 ma con la maschera. Poi leaks(f): restituisci True se cambiare l'ultima riga di una X casuale cambia una qualsiasi riga precedente dell'output di f. Qui f è qualsiasi funzione di attenzione chiamata come la tua, f(X, Wq, Wk, Wv), che restituisce (output, weights); crea X e pesi casuali dentro leaks.
Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione
Questo esercizio si apre presto
Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.
Questo browser blocca i cookie per learn.floati.life, quindi le lezioni che hai finito qui non si possono aprire in ordine. Consenti i cookie per questo sito e ricarica.