Self-attention: ogni posizione interroga tutte le altre
Perché è importante In un transformer non c'è un encoder separato a cui guardare indietro. Ogni posizione del testo presta attenzione alle altre, così il vettore di ogni carattere viene aggiornato con informazioni dal resto della frase.
Parti da X, una riga per posizione (t righe, d colonne). Tre matrici apprese creano in una volta la query, la key e il value di ogni posizione:
Q = X @ Wq K = X @ Wk V = X @ Wv
A = softmax(Q @ K.T / sqrt(dk)) # t by t: row i is how much position i attends to each position
out = A @ V
È la ricerca morbida della lezione 1, fatta per tutte le t query in una volta con due moltiplicazioni di matrici, ed è per questo che gira così bene sulle routine matematiche veloci.
Parole e simboli di questa lezione
- query, key, value
- che cosa cerca una posizione; che cosa offre ogni posizione per la corrispondenza; che cosa consegna
- attenzione
- softmax dei punteggi query-key, usata per fare la media dei value
- self-attention
- ogni posizione presta attenzione alle posizioni dello stesso testo
Scrivi self_attention(X, Wq, Wk, Wv) che restituisce (out, A).
Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione
Questo esercizio si apre presto
Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.
Questo browser blocca i cookie per learn.floati.life, quindi le lezioni che hai finito qui non si possono aprire in ordine. Consenti i cookie per questo sito e ricarica.