Context & Token Budget
Elk model heeft een eindig context window, en je betaalt per token. Als een gesprek groeit voorbij het Budget, kun je niet alles sturen, dus beslis je wat je houdt. Het standaard beleid: houd de system prompt (die stelt de regels vast) plus de meest recente berichten die nog passen, en gooi de oudste weg.
Je gaat een simpele budgeter bouwen. Eerst een ruwe token schatter: echte tokenizers zijn model-specifiek, maar een goede offline benadering is ongeveer 4 karakters per token. estimate_tokens(text) geeft len(text) // 4 terug (en 0 voor lege tekst, ten minste 1 voor elke niet-lege tekst).
Dan fit_context(system, messages, budget) beslist wat overblijft:
- De systeemprompt wordt als eerste geteld en altijd behouden.
- Loop door de berichten van nieuwste naar oudste, waarbij je elk bericht behoudt waarvan de tokens nog binnen het Budget passen; stop wanneer het volgende bericht zou overstromen.
- Geef
{"kept": [...], "dropped": n, "tokens": total}terug metkepthersteld naar chronologische volgorde.
# three 10-token messages, budget 20, no system
fit_context("", [m1, m2, m3], 20)
# {"kept": [m2, m3], "dropped": 1, "tokens": 20} # newest two surviveDe twee subtiliteiten die de beoordelaar controleert: een strakker Budget houdt minder (en de juiste) berichten vast, en een niet-lege system prompt verbruikt het Budget waardoor er minder berichten passen. Itereer in omgekeerde volgorde om eerst de nieuwste te kiezen, en draai de bewaarde lijst daarna weer om zodat het gesprek in de juiste volgorde leest. Druk op Run om te beoordelen.
Schrijf estimate_tokens(text) die len(text) // 4 teruggeeft (0 voor leeg, ten minste 1 voor niet-leeg). Schrijf fit_context(system, messages, budget) die eerst het systeem telt, de nieuwste berichten die passen behoudt (itereer in omgekeerde volgorde), en {"kept", "dropped", "tokens"} teruggeeft met kept in chronologische volgorde.
Een probleem ontdekt in deze les? Meld het · Vraag naar deze les
Deze oefening opent binnenkort
Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.
Deze browser blokkeert cookies voor learn.floati.life, dus lessen die je hier hebt afgerond kunnen niet in de juiste volgorde worden geopend. Sta cookies toe voor deze site en laad de pagina opnieuw.