Rückwärts durch Attention
Warum das wichtig ist Jede Bibliothek berechnet dies für dich, aber es sind nur vier Schritte, die du bereits kennst. Es einmal abzuleiten macht Attention zu einer Schicht, die du verstehst, nicht zu einer Box, die du aufrufst.
Vorwärts, für eine Sequenz X (t Positionen mal d): Q = X Wq, K = X Wk, V = X Wv, S = Q KT / sqrt(d), A = softmax(S) Zeile für Zeile, out = A V. Rückwärts geht durch dieselben Schritte in umgekehrter Reihenfolge, gegeben G = dL/d(out):
- out = Eine V ist eine Matrixmultiplikation (Formregel von Modul 2): dA = G VT und dV = AT G.
- A = softmax(S), Zeile für Zeile (softmax gradient von Modul 2): dS = A * (dA - (dA * A).sum(-1, keepdims=True)).
- S = Q KT / sqrt(d): dQ = dS K / sqrt(d) and dK = dST Q / sqrt(d).
- Q = X Wq (und das Gleiche für K und V): dWq = XT dQ, dWk = XT dK, dWv = XT dV.
Hier ist d die Breite der Queries und Keys (Anzahl der Spalten von Wq). Keine neue Regel erscheint irgendwo: der Backward Pass von attention sind zwei Matrixmultiplikationen und ein softmax, rückwärts ausführen.
Zusammenfassung Mach die Schritte in umgekehrter Reihenfolge rückgängig, jedes mit der Regel, die du bereits hast.
Wörter und Symbole in dieser Lektion
- abfrage, Schlüssel, Wert
- was eine Position sucht; was jede Position zum Abgleich anbietet; was sie übergibt
- attention
- softmax der query-key scores, verwendet um die Werte zu mitteln
Schreibe attention_backward(X, Wq, Wk, Wv, G) und gib (dWq, dWk, dWv) für out = softmax(Q KT / sqrt(d)) V ohne Maske zurück. Der versteckte Test prüft jeden Eintrag gegen Nudging.
Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion
Diese Übung öffnet bald
Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.
Dieser Browser blockiert Cookies für learn.floati.life, daher können hier beendigte Lektionen nicht in der richtigen Reihenfolge geöffnet werden. Erlaube Cookies für diese Seite und lade sie neu.