Geheugen voor gesprekken met meerdere beurten
A chatbot heeft geen eigen geheugen -> het model ziet alleen wat je bij elke aanroep verstuurt. Om een gesprek aan te gaan speel je de geschiedenis opnieuw af: het systeembericht plus de beurten tot nu toe. Maar de geschiedenis groeit onbeperkt en het contextvenster niet, dus heb je een memory nodig die het gesprek bijhoudt en inkort om het voor elke aanroep te laten passen.
Het beleid is het punt waar productie-systemen naar convergeren. Houd de system message altijd vast -> het bevat de instructies en persona die nooit verloren mogen gaan. Houd daarna zoveel mogelijk van de meest recente beurten die in het budget passen, waarbij je eerst de oudste gewone beurten verwijdert, omdat recente context het meest telt voor een samenhangend antwoord. Token budgets gebruiken de bekende schatting chars / 4.
convo = Conversation(system="You are a careful assistant.")
convo.add("user", "Tell me about Rome.")
convo.add("assistant", "Rome is the capital of Italy.")
context = convo.trimmed_context(max_tokens=64) # what you actually sendDit is precies het object dat voor elk chatmodel staat, inclusief een on-device WebLLM engine: je verzamelt beurten en geeft dan trimmed_context(...) door als de messages voor de volgende call. Geen model draait hier -> de trimming logic is deterministisch en wordt direct beoordeeld.
Bouw een Conversation klasse. De constructor neemt een optionele system message aan (vastgezet, nooit gedropt). add(role, content) voegt een beurt toe. trimmed_context(max_tokens) geeft de bewaard gebleven beurten terug in chronologische volgorde: elke systeembericht, plus de meest recente gewone beurten waarvan de geschatte tokens (opgeteld met de chars / 4 regel) binnen max_tokens passen, waarbij de oudste eerst worden gedropt. Een korte geschiedenis onder een ruim Budget wordt volledig bewaard.
Bouw een Conversation klasse die zijn beurten in volgorde in een lijst attribuut turns houdt (elk een {"role", "content"} dictionary; Conversation(system=...) slaat de systeemmelding op als de eerste beurt): add(role, content) voegt een beurt toe, en trimmed_context(max_tokens) houdt de systeemmelding(en) plus de nieuwste unbroken run van beurten die in een chars/4 token Budget past, geretourneerd in chronologische volgorde. Loop terug vanaf de nieuwste beurt en stop bij de eerste die niet past: sla een beurt nooit over en houd een oudere aan, want een gesprek met een gat in het midden (een antwoord zonder zijn vraag) verwart het model. Een korte geschiedenis wordt heel gehouden; een strak Budget laat de oudste vallen maar houdt de systeemmelding en de nieuwste beurt aan (als zelfs de nieuwste beurt niet past, blijft alleen de systeemmelding over); de volgorde blijft chronologisch; de token schatting is correct.
Een probleem ontdekt in deze les? Meld het · Vraag naar deze les
Deze oefening opent binnenkort
Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.
Deze browser blokkeert cookies voor learn.floati.life, dus lessen die je hier hebt afgerond kunnen niet in de juiste volgorde worden geopend. Sta cookies toe voor deze site en laad de pagina opnieuw.