Programma Lezione 146 di 246 · Modulo 13: Attenzione e transformer
Modulo 13: Attenzione e transformer

All'indietro attraverso l'attenzione

Perché è importante Ogni libreria lo calcola per te, ma sono solo quattro passi che conosci già. Ricavarlo una volta è ciò che fa dell'attenzione un layer che capisci, non una scatola che chiami.

In avanti, per una sequenza X (t posizioni per d): Q = X Wq, K = X Wk, V = X Wv, S = Q KT / sqrt(d), A = softmax(S) riga per riga, out = A V. All'indietro si ripercorrono gli stessi passi al contrario, dato G = dL/d(out):

  1. out = A V è una moltiplicazione di matrici (la regola delle forme del Modulo 2): dA = G VT e dV = AT G.
  2. A = softmax(S), riga per riga (il gradiente della softmax del Modulo 2): dS = A * (dA - (dA * A).sum(-1, keepdims=True)).
  3. S = Q KT / sqrt(d): dQ = dS K / sqrt(d) e dK = dST Q / sqrt(d).
  4. Q = X Wq (e lo stesso per K e V): dWq = XT dQ, dWk = XT dK, dWv = XT dV.

Qui d è la larghezza delle query e delle key (il numero di colonne di Wq). Da nessuna parte compare una regola nuova: la passata all'indietro dell'attenzione sono due moltiplicazioni di matrici e una softmax, eseguite all'indietro.

Riepilogo Disfa i passi in ordine inverso, ognuno con la regola che hai già.

Parole e simboli di questa lezione
query, key, value
che cosa cerca una posizione; che cosa offre ogni posizione per la corrispondenza; che cosa consegna
attenzione
softmax dei punteggi query-key, usata per fare la media dei value
Tocca a te

Scrivi attention_backward(X, Wq, Wk, Wv, G) che restituisce (dWq, dWk, dWv) per out = softmax(Q KT / sqrt(d)) V senza maschera. Il test nascosto controlla ogni elemento con gli spostamenti.

Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione

Questo esercizio si apre presto

Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.