Lehrplan Lektion 144 von 246 · Modul 13: Attention und Transformers
Modul 13: Attention und Transformers

Selbstaufmerksamkeit: jede Position fragt jede andere

Warum das wichtig ist In einem Transformer gibt es keinen separaten Encoder zum Zurückschauen. Jede Position des Textes achtet auf die anderen, also wird der Vektor jedes Zeichens mit Informationen aus dem Rest des Satzes aktualisiert.

Beginne mit X, eine Zeile pro Position (t Zeilen, d Spalten). Drei gelernte Matrizen bilden die query, key und value jeder Position gleichzeitig:

Q = X @ Wq     K = X @ Wk     V = X @ Wv
A = softmax(Q @ K.T / sqrt(dk))      # t by t: row i is how much position i attends to each position
out = A @ V

Dies ist die weiche Suche von Lektion 1, die für alle t Abfragen gleichzeitig mit zwei Matrixmultiplikationen durchgeführt wird, weshalb sie auf schnellen Mathematikroutinen so gut läuft.

Wörter und Symbole in dieser Lektion
abfrage, Schlüssel, Wert
was eine Position sucht; was jede Position zum Abgleichen anbietet; was sie übergibt
attention
softmax der query-key scores, verwendet um die Werte zu mitteln
self-attention
jede Position achtet auf die Positionen desselben Textes
Du bist dran

Schreibe self_attention(X, Wq, Wk, Wv) und gib (out, A) zurück.

Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion

Diese Übung öffnet bald

Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.