Lehrplan Lektion 156 von 246 · Modul 13: Attention und Transformers
Modul 13: Attention und Transformers

Schnelles Generieren: der Key-Value-Cache

Warum das wichtig ist Chatbots schreiben ein Token nach dem anderen. Wenn man es naiv macht, berechnet jedes neue Token die Keys und Values des gesamten bisherigen Textes neu. Der Key-Value Cache ist der Grund, warum Antworten schnell gestreamt werden.

Sieh es dir an

Spiele die Animation ab. Mit der kausalen Maske ändern sich die Keys und Values früherer Positionen nie, wenn neue Tokens ankommen. Behalte sie also: Berechne für jedes neue Token nur sein eigenes q, k und v, füge k und v dem Cache hinzu und berechne die Attention mit q über die gecachten Keys.

Arbeit pro neuem Token: der naive Weg berechnet t keys und values für einen Text der Länge t; der cache berechnet 1. Bei einer Antwort von 1.000 Tokens sind das etwa 500.000 key Berechnungen gegenüber 1.000.

Wörter und Symbole in dieser Lektion
abfrage, Schlüssel, Wert
was eine Position sucht; was jede Position zum Abgleich anbietet; was sie übergibt
attention
softmax der query-key scores, verwendet um die Werte zu mitteln
self-attention
jede Position achtet auf die Positionen desselben Textes
causal mask
Werte oberhalb der Diagonale auf minus unendlich setzen: keine Position sieht die Zukunft
key-value cache
behalte frühere Schlüssel und Werte, damit jedes neue Token einen Schritt kostet
Du bist dran

Schreibe cached_step(x, cache, Wq, Wk, Wv): x ist eine neue Zeile; füge ihren key und value zu cache["K"] und cache["V"] (lists) hinzu, und gib ihren attention output über alle gecachten Positionen zurück. Das Einspeisen der Zeilen von X nacheinander muss die causal self-attention exakt reproduzieren. Setze keys_naive und keys_cached: wie viele key vektoren jede Methode berechnet, um 1.000 tokens zu erzeugen.

Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion

Diese Übung öffnet bald

Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.