Schnelles Generieren: der Key-Value-Cache
Warum das wichtig ist Chatbots schreiben ein Token nach dem anderen. Wenn man es naiv macht, berechnet jedes neue Token die Keys und Values des gesamten bisherigen Textes neu. Der Key-Value Cache ist der Grund, warum Antworten schnell gestreamt werden.
Sieh es dir an
Spiele die Animation ab. Mit der kausalen Maske ändern sich die Keys und Values früherer Positionen nie, wenn neue Tokens ankommen. Behalte sie also: Berechne für jedes neue Token nur sein eigenes q, k und v, füge k und v dem Cache hinzu und berechne die Attention mit q über die gecachten Keys.
Arbeit pro neuem Token: der naive Weg berechnet t keys und values für einen Text der Länge t; der cache berechnet 1. Bei einer Antwort von 1.000 Tokens sind das etwa 500.000 key Berechnungen gegenüber 1.000.
Wörter und Symbole in dieser Lektion
- abfrage, Schlüssel, Wert
- was eine Position sucht; was jede Position zum Abgleich anbietet; was sie übergibt
- attention
- softmax der query-key scores, verwendet um die Werte zu mitteln
- self-attention
- jede Position achtet auf die Positionen desselben Textes
- causal mask
- Werte oberhalb der Diagonale auf minus unendlich setzen: keine Position sieht die Zukunft
- key-value cache
- behalte frühere Schlüssel und Werte, damit jedes neue Token einen Schritt kostet
Schreibe cached_step(x, cache, Wq, Wk, Wv): x ist eine neue Zeile; füge ihren key und value zu cache["K"] und cache["V"] (lists) hinzu, und gib ihren attention output über alle gecachten Positionen zurück. Das Einspeisen der Zeilen von X nacheinander muss die causal self-attention exakt reproduzieren. Setze keys_naive und keys_cached: wie viele key vektoren jede Methode berechnet, um 1.000 tokens zu erzeugen.
Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion
Diese Übung öffnet bald
Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.
Dieser Browser blockiert Cookies für learn.floati.life, daher können hier beendigte Lektionen nicht in der richtigen Reihenfolge geöffnet werden. Erlaube Cookies für diese Seite und lade sie neu.