Générer vite : le cache clé-valeur
Pourquoi c'est important Les chatbots écrivent un token à la fois. Fait naïvement, chaque nouveau token recalcule les clés et les valeurs de tout le texte jusqu'ici. Le cache clé-valeur est la raison pour laquelle les réponses défilent vite.
Vois-le
Lance l'animation. Avec le masque causal, les clés et les valeurs des positions précédentes ne changent jamais quand de nouveaux tokens arrivent. Donc garde-les : pour chaque nouveau token, calcule seulement ses propres q, k et v, ajoute k et v au cache, et porte l'attention avec q sur les clés en cache.
Le travail par nouveau token : la façon naïve calcule t clés et valeurs pour un texte de longueur t ; le cache en calcule 1. Sur une réponse de 1 000 tokens, ça fait environ 500 000 calculs de clés contre 1 000.
Mots et symboles de cette leçon
- requête, clé, valeur
- ce que cherche une position ; ce que chaque position propose pour la correspondance ; ce qu'elle remet
- attention
- le softmax des scores requête-clé, utilisé pour faire la moyenne des valeurs
- auto-attention
- chaque position porte son attention sur les positions du même texte
- masque causal
- les scores au-dessus de la diagonale mis à moins l'infini : aucune position ne voit le futur
- cache clé-valeur
- garder les clés et valeurs précédentes pour que chaque nouveau token coûte un seul pas
Écris cached_step(x, cache, Wq, Wk, Wv) : x est une nouvelle ligne ; ajoute sa clé et sa valeur à cache["K"] et cache["V"] (des listes), et renvoie sa sortie d'attention sur toutes les positions en cache. Donner les lignes de X une par une doit reproduire exactement l'auto-attention causale. Affecte keys_naive et keys_cached : combien de vecteurs clés chaque méthode calcule pour produire 1 000 tokens.
Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon
Cet exercice s'ouvre bientôt
Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.
Ce navigateur bloque les cookies pour learn.floati.life, donc les leçons que tu as terminées ici ne peuvent pas s'ouvrir dans l'ordre. Autorise les cookies pour ce site et recharge la page.