Le gestionnaire de budget de contexte
Chaque modèle a une fenêtre de contexte finie : le nombre maximal de tokens qu'il peut lire en un appel. Un long historique de discussion finit par la dépasser, et l'appel soit plante, soit coupe en silence. La solution de production est un gestionnaire de budget qui coupe la conversation avant de l'envoyer.
La règle standard est simple et éprouvée : garde toujours le message système (il porte les instructions et le personnage qui ne doivent jamais disparaître), puis jette les tours ordinaires les plus anciens un par un jusqu'à ce que l'estimation courante des tokens tienne dans le budget. Les tours récents comptent le plus pour la cohérence, donc ce sont les derniers à partir.
Les messages ont le format de discussion habituel :
[
{"role": "system", "content": "You are a careful assistant."},
{"role": "user", "content": "What is the capital of France?"},
{"role": "assistant", "content": "The capital of France is Paris."},
{"role": "user", "content": "And of Spain?"}
]Tu as déjà un estimateur de tokens (chars/4) de la leçon précédente ; il est fourni ici sous le nom estimate_tokens. Additionne-le sur le content de chaque message gardé pour obtenir le total courant.
Construis fit_to_budget(messages, max_tokens). Renvoie une nouvelle liste de messages, dans l'ordre d'origine, telle que : le ou les messages système sont toujours gardés ; le total estimé des tokens des messages gardés est <= max_tokens chaque fois qu'on peut jeter ; et quand il faut jeter, tu jettes d'abord les messages non système les plus anciens. Un budget généreux garde tout. Ne modifie pas la liste d'entrée.
Écris fit_to_budget(messages, max_tokens) qui renvoie les messages gardés dans l'ordre d'origine. Garde chaque message système. Jette les messages non système les plus anciens un par un jusqu'à ce que le total estimé des tokens (somme de estimate_tokens sur chaque content) soit <= max_tokens. Un budget généreux ne jette rien ; deux budgets différents doivent garder des ensembles différents, et les tours les plus récents survivent aux plus anciens.
Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon
Cet exercice s'ouvre bientôt
Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.
Ce navigateur bloque les cookies pour learn.floati.life, donc les leçons que tu as terminées ici ne peuvent pas s'ouvrir dans l'ordre. Autorise les cookies pour ce site et recharge la page.