Lehrplan Lektion 148 von 246 · Modul 13: Attention und Transformers
Modul 13: Attention und Transformers

Aufmerksamkeit hat kein Sinn für Ordnung

Warum das wichtig ist "Dog bites man" und "man bites dog" nutzen die gleichen Wörter. Self-attention kann sie allein nicht unterscheiden. Zu sehen, warum, erklärt die extra Zutat, die jeder Transformer hinzufügt.

Mische die Zeilen von X und die Ausgabezeilen der self-attention werden auf die gleiche Weise gemischt, sonst ändert sich nichts. Das Ergebnis jeder Position hängt davon ab, welche Vektoren vorhanden sind, nicht wo sie sitzen. (Mit der causal mask ist das nicht ganz wahr: Position i sieht genau i + 1 tokens, also kann ein Modell lernen, sie zu zählen, und kausale Modelle ohne Positionsvektoren lernen die Reihenfolge auf diese Weise. Aber es ist langsam und unzuverlässig; explizite Positionsvektoren machen die Reihenfolge einfach.)

Also fügen Transformers einen position vector zu jedem Token-Embedding vor der ersten Schicht hinzu. Das aufgezeichnete GPT lernte einen Vektor pro Position, 32 davon. Was passiert mit seinen Vorhersagen, wenn wir sie löschen?

Wörter und Symbole in dieser Lektion
attention
softmax der query-key scores, verwendet um die Werte zu mitteln
self-attention
jede Position achtet auf die Positionen desselben Textes
causal mask
Werte oberhalb der Diagonale auf minus unendlich setzen: keine Position sieht die Zukunft
Positionsvektor
wurde zu jedem Token hinzugefügt, damit die attention die Reihenfolge erkennen kann
Du bist dran

Schreibe shuffle_check(f): True, wenn das Vertauschen der Zeilen eines zufälligen X die Ausgabezeilen von f auf die gleiche Weise vertauscht. Hier gibt f(X, Wq, Wk, Wv) nur die Ausgabe zurück, wie attn unten; erstelle zufälliges X und Gewichte innerhalb von shuffle_check. Fülle dann with_pos und without_pos: den festgehaltenen Loss des Modells (model.eval_loss(held, n=32)) so wie er ist und mit model.P["pos"].data auf Nullen gesetzt (setze es danach zurück).

Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion

Diese Übung öffnet bald

Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.