Lehrplan Lektion 141 von 246 · Modul 13: Attention und Transformers
Modul 13: Attention und Transformers

Attention ist ein weicher Lookup

Warum das wichtig ist Attention ist die eine neue Idee in einem Transformer. Alles andere kennst du bereits. Es ist ein Dictionary lookup, das anstatt einen Eintrag auszuwählen, alle miteinander vermischt.

Sieh es dir an

Spiele die Animation ab. Ein Python dictionary stimmt exakt mit einem key überein und gibt einen Wert zurück. Attention hat eine query q, eine Liste von keys und eine Liste von values. Es bewertet die query gegen jeden key mit einem dot product, wandelt die scores in weights mit softmax (positiv, Summe 1) um und gibt den gewichteten Durchschnitt der values zurück.

weights = softmax(K @ q)
output  = weights @ V

Kleine Zahlen

q = [1, 0]. Die Keys [2, 0], [0, 2], [0, 0] geben die Scores 2, 0, 0. Softmax: e^2 = 7.39 und 1 und 1, also sind die Gewichte 0.79, 0.11, 0.11. Mit den Werten 10, 20, 30 ist der Output 0.79 mal 10 + 0.11 mal 20 + 0.11 mal 30 = 13.2: hauptsächlich der erste Wert, ein wenig von den anderen.

Query, key, value: wonach ich suche; woran jedes Element abgeglichen wird; was jedes Element übergibt, wenn es abgeglichen wird.

Wörter und Symbole in dieser Lektion
abfrage, Schlüssel, Wert
was eine Position sucht; was jede Position zum Abgleich anbietet; was sie übergibt
attention
softmax der query-key scores, verwendet um die Werte zu mitteln
Du bist dran

Schreibe attend(q, K, V) für eine Abfrage: gib (weights, output).

zurück

Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion

Diese Übung öffnet bald

Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.