All'indietro attraverso l'attenzione
Perché è importante Ogni libreria lo calcola per te, ma sono solo quattro passi che conosci già. Ricavarlo una volta è ciò che fa dell'attenzione un layer che capisci, non una scatola che chiami.
In avanti, per una sequenza X (t posizioni per d): Q = X Wq, K = X Wk, V = X Wv, S = Q KT / sqrt(d), A = softmax(S) riga per riga, out = A V. All'indietro si ripercorrono gli stessi passi al contrario, dato G = dL/d(out):
- out = A V è una moltiplicazione di matrici (la regola delle forme del Modulo 2): dA = G VT e dV = AT G.
- A = softmax(S), riga per riga (il gradiente della softmax del Modulo 2): dS = A * (dA - (dA * A).sum(-1, keepdims=True)).
- S = Q KT / sqrt(d): dQ = dS K / sqrt(d) e dK = dST Q / sqrt(d).
- Q = X Wq (e lo stesso per K e V): dWq = XT dQ, dWk = XT dK, dWv = XT dV.
Qui d è la larghezza delle query e delle key (il numero di colonne di Wq). Da nessuna parte compare una regola nuova: la passata all'indietro dell'attenzione sono due moltiplicazioni di matrici e una softmax, eseguite all'indietro.
Riepilogo Disfa i passi in ordine inverso, ognuno con la regola che hai già.
Parole e simboli di questa lezione
- query, key, value
- che cosa cerca una posizione; che cosa offre ogni posizione per la corrispondenza; che cosa consegna
- attenzione
- softmax dei punteggi query-key, usata per fare la media dei value
Scrivi attention_backward(X, Wq, Wk, Wv, G) che restituisce (dWq, dWk, dWv) per out = softmax(Q KT / sqrt(d)) V senza maschera. Il test nascosto controlla ogni elemento con gli spostamenti.
Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione
Questo esercizio si apre presto
Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.
Questo browser blocca i cookie per learn.floati.life, quindi le lezioni che hai finito qui non si possono aprire in ordine. Consenti i cookie per questo sito e ricarica.