Programma Lezione 148 di 246 · Modulo 13: Attenzione e transformer
Modulo 13: Attenzione e transformer

L'attenzione non ha il senso dell'ordine

Perché è importante "Dog bites man" e "man bites dog" usano le stesse parole. La self-attention, da sola, non sa distinguerle. Capire perché spiega l'ingrediente in più che aggiunge ogni transformer.

Mescola le righe di X e le righe di output della self-attention vengono mescolate allo stesso modo, nient'altro cambia. Il risultato di ogni posizione dipende da quali vettori ci sono, non da dove stanno. (Con la maschera causale questo non è del tutto vero: la posizione i vede esattamente i + 1 token, quindi un modello può imparare a contarli, e i modelli causali senza vettori di posizione imparano davvero l'ordine così. Ma è lento e inaffidabile; vettori di posizione espliciti rendono l'ordine facile.)

Quindi i transformer aggiungono un vettore di posizione all'embedding di ogni token prima del primo layer. Il GPT registrato ha imparato un vettore per posizione, 32 in tutto. Che cosa succede alle sue previsioni se li cancelliamo?

Parole e simboli di questa lezione
attenzione
softmax dei punteggi query-key, usata per fare la media dei value
self-attention
ogni posizione presta attenzione alle posizioni dello stesso testo
maschera causale
punteggi sopra la diagonale messi a meno infinito: nessuna posizione vede il futuro
vettore di posizione
aggiunto a ogni token così l'attenzione può distinguere l'ordine
Tocca a te

Scrivi shuffle_check(f): True se permutare le righe di una X casuale permuta allo stesso modo le righe di output di f. Qui f(X, Wq, Wk, Wv) restituisce solo l'output, come attn qui sotto; crea X e pesi casuali dentro shuffle_check. Poi riempi with_pos e without_pos: la loss su dati tenuti da parte del modello registrato (model.eval_loss(held, n=32)) così com'è e con model.P["pos"].data messo a zeri (rimettilo a posto dopo).

Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione

Questo esercizio si apre presto

Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.