Programme Leçon 132 sur 250 · L'art du prompt pour les ingénieurs IA
L'art du prompt pour les ingénieurs IA

Contexte et budget de tokens

Chaque modèle a une fenêtre de contexte finie, et tu paies par token. Quand une conversation dépasse le budget, tu ne peux pas tout envoyer, donc tu décides quoi garder. La règle standard : garde le prompt système (il fixe les règles) plus les messages les plus récents qui tiennent encore, et jette les plus anciens.

Tu vas construire un gestionnaire de budget simple. D'abord, un estimateur de tokens approximatif : les vrais tokenizers dépendent du modèle, mais une bonne approximation hors ligne est environ 4 caractères par token. estimate_tokens(text) renvoie len(text) // 4 (et 0 pour un texte vide, au moins 1 pour tout texte non vide).

Puis fit_context(system, messages, budget) décide de ce qui survit :

  • Le prompt système est compté en premier et toujours gardé.
  • Parcours les messages du plus récent au plus ancien, en gardant chacun dont les tokens tiennent encore dans le budget ; arrête-toi quand le suivant dépasserait.
  • Renvoie {"kept": [...], "dropped": n, "tokens": total} avec kept remis dans l'ordre chronologique.
# three 10-token messages, budget 20, no system
fit_context("", [m1, m2, m3], 20)
# {"kept": [m2, m3], "dropped": 1, "tokens": 20}   # newest two survive

Les deux subtilités vérifiées par le correcteur : un budget plus serré garde moins de messages (et les bons), et un prompt système non vide mord sur le budget, donc moins de messages tiennent. Parcours à l'envers pour prendre les plus récents d'abord, puis remets la liste gardée dans l'ordre pour que la conversation se lise dans le bon sens. Appuie sur Run pour la notation.

À ton tour

Écris estimate_tokens(text) qui renvoie len(text) // 4 (0 si vide, au moins 1 sinon). Écris fit_context(system, messages, budget) qui compte d'abord system, garde les messages les plus récents qui tiennent (parcours à l'envers), et renvoie {"kept", "dropped", "tokens"} avec kept remis dans l'ordre chronologique.

Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon

Cet exercice s'ouvre bientôt

Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.