Selbstaufmerksamkeit: jede Position fragt jede andere
Warum das wichtig ist In einem Transformer gibt es keinen separaten Encoder zum Zurückschauen. Jede Position des Textes achtet auf die anderen, also wird der Vektor jedes Zeichens mit Informationen aus dem Rest des Satzes aktualisiert.
Beginne mit X, eine Zeile pro Position (t Zeilen, d Spalten). Drei gelernte Matrizen bilden die query, key und value jeder Position gleichzeitig:
Q = X @ Wq K = X @ Wk V = X @ Wv
A = softmax(Q @ K.T / sqrt(dk)) # t by t: row i is how much position i attends to each position
out = A @ V
Dies ist die weiche Suche von Lektion 1, die für alle t Abfragen gleichzeitig mit zwei Matrixmultiplikationen durchgeführt wird, weshalb sie auf schnellen Mathematikroutinen so gut läuft.
Wörter und Symbole in dieser Lektion
- abfrage, Schlüssel, Wert
- was eine Position sucht; was jede Position zum Abgleichen anbietet; was sie übergibt
- attention
- softmax der query-key scores, verwendet um die Werte zu mitteln
- self-attention
- jede Position achtet auf die Positionen desselben Textes
Schreibe self_attention(X, Wq, Wk, Wv) und gib (out, A) zurück.
Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion
Diese Übung öffnet bald
Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.
Dieser Browser blockiert Cookies für learn.floati.life, daher können hier beendigte Lektionen nicht in der richtigen Reihenfolge geöffnet werden. Erlaube Cookies für diese Seite und lade sie neu.