La mémoire d'une conversation sur plusieurs tours
Un chatbot n'a aucune mémoire propre -> le modèle ne voit que ce que tu lui envoies à chaque appel. Pour tenir une conversation, tu rejoues l'historique : le message système plus les allers-retours jusqu'ici. Mais l'historique grandit sans limite et la fenêtre de contexte non, donc il te faut une mémoire qui garde la conversation et la coupe à la bonne taille avant chaque appel.
La règle est celle vers laquelle convergent les systèmes de production. Garde toujours le message système -> il porte les instructions et le personnage qui ne doivent jamais se perdre. Puis garde autant de tours les plus récents que le budget le permet, en jetant d'abord les tours ordinaires les plus anciens, car le contexte récent compte le plus pour une réponse cohérente. Les budgets de tokens utilisent l'estimation habituelle chars / 4.
convo = Conversation(system="You are a careful assistant.")
convo.add("user", "Tell me about Rome.")
convo.add("assistant", "Rome is the capital of Italy.")
context = convo.trimmed_context(max_tokens=64) # what you actually sendC'est exactement l'objet qui se place devant tout modèle de discussion, y compris un moteur WebLLM sur l'appareil : tu accumules les tours, puis tu passes trimmed_context(...) comme messages de l'appel suivant. Aucun modèle ne tourne ici -> la logique de coupe est déterministe et notée directement.
Construis une classe Conversation. Le constructeur prend un message system facultatif (épinglé, jamais jeté). add(role, content) ajoute un tour. trimmed_context(max_tokens) renvoie les tours gardés dans l'ordre chronologique : chaque message système, plus les tours ordinaires les plus récents dont les tokens estimés (additionnés avec la règle chars / 4) tiennent dans max_tokens, en jetant d'abord les plus anciens. Un historique court avec un budget généreux est gardé en entier.
Construis une classe Conversation qui garde ses tours dans l'ordre dans un attribut liste turns (chacun un dict {"role", "content"} ; Conversation(system=...) range le message système comme premier tour) : add(role, content) ajoute un tour, et trimmed_context(max_tokens) garde le ou les messages système plus la suite ininterrompue de tours les plus récents qui tient dans un budget de tokens chars/4, renvoyés dans l'ordre chronologique. Remonte depuis le tour le plus récent et arrête-toi au premier qui ne tient pas : ne saute jamais un tour pour en garder un plus ancien, car une conversation avec un trou au milieu (une réponse sans sa question) embrouille le modèle. Un historique court est gardé en entier ; un budget serré jette les plus anciens mais garde le message système et le tour le plus récent (si même le plus récent ne tient pas, il ne reste que le message système) ; l'ordre reste chronologique ; l'estimation des tokens est juste.
Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon
Cet exercice s'ouvre bientôt
Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.
Ce navigateur bloque les cookies pour learn.floati.life, donc les leçons que tu as terminées ici ne peuvent pas s'ouvrir dans l'ordre. Autorise les cookies pour ce site et recharge la page.