L'attenzione non ha il senso dell'ordine
Perché è importante "Dog bites man" e "man bites dog" usano le stesse parole. La self-attention, da sola, non sa distinguerle. Capire perché spiega l'ingrediente in più che aggiunge ogni transformer.
Mescola le righe di X e le righe di output della self-attention vengono mescolate allo stesso modo, nient'altro cambia. Il risultato di ogni posizione dipende da quali vettori ci sono, non da dove stanno. (Con la maschera causale questo non è del tutto vero: la posizione i vede esattamente i + 1 token, quindi un modello può imparare a contarli, e i modelli causali senza vettori di posizione imparano davvero l'ordine così. Ma è lento e inaffidabile; vettori di posizione espliciti rendono l'ordine facile.)
Quindi i transformer aggiungono un vettore di posizione all'embedding di ogni token prima del primo layer. Il GPT registrato ha imparato un vettore per posizione, 32 in tutto. Che cosa succede alle sue previsioni se li cancelliamo?
Parole e simboli di questa lezione
- attenzione
- softmax dei punteggi query-key, usata per fare la media dei value
- self-attention
- ogni posizione presta attenzione alle posizioni dello stesso testo
- maschera causale
- punteggi sopra la diagonale messi a meno infinito: nessuna posizione vede il futuro
- vettore di posizione
- aggiunto a ogni token così l'attenzione può distinguere l'ordine
Scrivi shuffle_check(f): True se permutare le righe di una X casuale permuta allo stesso modo le righe di output di f. Qui f(X, Wq, Wk, Wv) restituisce solo l'output, come attn qui sotto; crea X e pesi casuali dentro shuffle_check. Poi riempi with_pos e without_pos: la loss su dati tenuti da parte del modello registrato (model.eval_loss(held, n=32)) così com'è e con model.P["pos"].data messo a zeri (rimettilo a posto dopo).
Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione
Questo esercizio si apre presto
Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.
Questo browser blocca i cookie per learn.floati.life, quindi le lezioni che hai finito qui non si possono aprire in ordine. Consenti i cookie per questo sito e ricarica.