Programma Lezione 144 di 246 · Modulo 13: Attenzione e transformer
Modulo 13: Attenzione e transformer

Self-attention: ogni posizione interroga tutte le altre

Perché è importante In un transformer non c'è un encoder separato a cui guardare indietro. Ogni posizione del testo presta attenzione alle altre, così il vettore di ogni carattere viene aggiornato con informazioni dal resto della frase.

Parti da X, una riga per posizione (t righe, d colonne). Tre matrici apprese creano in una volta la query, la key e il value di ogni posizione:

Q = X @ Wq     K = X @ Wk     V = X @ Wv
A = softmax(Q @ K.T / sqrt(dk))      # t by t: row i is how much position i attends to each position
out = A @ V

È la ricerca morbida della lezione 1, fatta per tutte le t query in una volta con due moltiplicazioni di matrici, ed è per questo che gira così bene sulle routine matematiche veloci.

Parole e simboli di questa lezione
query, key, value
che cosa cerca una posizione; che cosa offre ogni posizione per la corrispondenza; che cosa consegna
attenzione
softmax dei punteggi query-key, usata per fare la media dei value
self-attention
ogni posizione presta attenzione alle posizioni dello stesso testo
Tocca a te

Scrivi self_attention(X, Wq, Wk, Wv) che restituisce (out, A).

Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione

Questo esercizio si apre presto

Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.