Programme Leçon 156 sur 246 · Module 13 : Attention et transformers
Module 13 : Attention et transformers

Générer vite : le cache clé-valeur

Pourquoi c'est important Les chatbots écrivent un token à la fois. Fait naïvement, chaque nouveau token recalcule les clés et les valeurs de tout le texte jusqu'ici. Le cache clé-valeur est la raison pour laquelle les réponses défilent vite.

Vois-le

Lance l'animation. Avec le masque causal, les clés et les valeurs des positions précédentes ne changent jamais quand de nouveaux tokens arrivent. Donc garde-les : pour chaque nouveau token, calcule seulement ses propres q, k et v, ajoute k et v au cache, et porte l'attention avec q sur les clés en cache.

Le travail par nouveau token : la façon naïve calcule t clés et valeurs pour un texte de longueur t ; le cache en calcule 1. Sur une réponse de 1 000 tokens, ça fait environ 500 000 calculs de clés contre 1 000.

Mots et symboles de cette leçon
requête, clé, valeur
ce que cherche une position ; ce que chaque position propose pour la correspondance ; ce qu'elle remet
attention
le softmax des scores requête-clé, utilisé pour faire la moyenne des valeurs
auto-attention
chaque position porte son attention sur les positions du même texte
masque causal
les scores au-dessus de la diagonale mis à moins l'infini : aucune position ne voit le futur
cache clé-valeur
garder les clés et valeurs précédentes pour que chaque nouveau token coûte un seul pas
À ton tour

Écris cached_step(x, cache, Wq, Wk, Wv) : x est une nouvelle ligne ; ajoute sa clé et sa valeur à cache["K"] et cache["V"] (des listes), et renvoie sa sortie d'attention sur toutes les positions en cache. Donner les lignes de X une par une doit reproduire exactement l'auto-attention causale. Affecte keys_naive et keys_cached : combien de vecteurs clés chaque méthode calcule pour produire 1 000 tokens.

Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon

Cet exercice s'ouvre bientôt

Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.