Attention ist ein weicher Lookup
Warum das wichtig ist Attention ist die eine neue Idee in einem Transformer. Alles andere kennst du bereits. Es ist ein Dictionary lookup, das anstatt einen Eintrag auszuwählen, alle miteinander vermischt.
Sieh es dir an
Spiele die Animation ab. Ein Python dictionary stimmt exakt mit einem key überein und gibt einen Wert zurück. Attention hat eine query q, eine Liste von keys und eine Liste von values. Es bewertet die query gegen jeden key mit einem dot product, wandelt die scores in weights mit softmax (positiv, Summe 1) um und gibt den gewichteten Durchschnitt der values zurück.
weights = softmax(K @ q)
output = weights @ V
Kleine Zahlen
q = [1, 0]. Die Keys [2, 0], [0, 2], [0, 0] geben die Scores 2, 0, 0. Softmax: e^2 = 7.39 und 1 und 1, also sind die Gewichte 0.79, 0.11, 0.11. Mit den Werten 10, 20, 30 ist der Output 0.79 mal 10 + 0.11 mal 20 + 0.11 mal 30 = 13.2: hauptsächlich der erste Wert, ein wenig von den anderen.
Query, key, value: wonach ich suche; woran jedes Element abgeglichen wird; was jedes Element übergibt, wenn es abgeglichen wird.
Wörter und Symbole in dieser Lektion
- abfrage, Schlüssel, Wert
- was eine Position sucht; was jede Position zum Abgleich anbietet; was sie übergibt
- attention
- softmax der query-key scores, verwendet um die Werte zu mitteln
Schreibe attend(q, K, V) für eine Abfrage: gib (weights, output).
Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion
Diese Übung öffnet bald
Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.
Dieser Browser blockiert Cookies für learn.floati.life, daher können hier beendigte Lektionen nicht in der richtigen Reihenfolge geöffnet werden. Erlaube Cookies für diese Seite und lade sie neu.