Lehrplan Lektion 146 von 246 · Modul 13: Attention und Transformers
Modul 13: Attention und Transformers

Rückwärts durch Attention

Warum das wichtig ist Jede Bibliothek berechnet dies für dich, aber es sind nur vier Schritte, die du bereits kennst. Es einmal abzuleiten macht Attention zu einer Schicht, die du verstehst, nicht zu einer Box, die du aufrufst.

Vorwärts, für eine Sequenz X (t Positionen mal d): Q = X Wq, K = X Wk, V = X Wv, S = Q KT / sqrt(d), A = softmax(S) Zeile für Zeile, out = A V. Rückwärts geht durch dieselben Schritte in umgekehrter Reihenfolge, gegeben G = dL/d(out):

  1. out = Eine V ist eine Matrixmultiplikation (Formregel von Modul 2): dA = G VT und dV = AT G.
  2. A = softmax(S), Zeile für Zeile (softmax gradient von Modul 2): dS = A * (dA - (dA * A).sum(-1, keepdims=True)).
  3. S = Q KT / sqrt(d): dQ = dS K / sqrt(d) and dK = dST Q / sqrt(d).
  4. Q = X Wq (und das Gleiche für K und V): dWq = XT dQ, dWk = XT dK, dWv = XT dV.

Hier ist d die Breite der Queries und Keys (Anzahl der Spalten von Wq). Keine neue Regel erscheint irgendwo: der Backward Pass von attention sind zwei Matrixmultiplikationen und ein softmax, rückwärts ausführen.

Zusammenfassung Mach die Schritte in umgekehrter Reihenfolge rückgängig, jedes mit der Regel, die du bereits hast.

Wörter und Symbole in dieser Lektion
abfrage, Schlüssel, Wert
was eine Position sucht; was jede Position zum Abgleich anbietet; was sie übergibt
attention
softmax der query-key scores, verwendet um die Werte zu mitteln
Du bist dran

Schreibe attention_backward(X, Wq, Wk, Wv, G) und gib (dWq, dWk, dWv) für out = softmax(Q KT / sqrt(d)) V ohne Maske zurück. Der versteckte Test prüft jeden Eintrag gegen Nudging.

Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion

Diese Übung öffnet bald

Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.