Programma Les 179 van 250 · LLM's in productie brengen: Kosten, Caching & Guardrails
LLM's in productie brengen: Kosten, Caching & Guardrails

Context-Window Budgeter

Elk model heeft een eindig context window: de meeste tokens die het in één aanroep kan lezen. Een lange chatgeschiedenis overstroomt het uiteindelijk, en de aanroep geeft een fout of kapt de tekst stilzwijgend af. De productieoplossing is een budgeter die de conversatie inkort voordat je deze verstuurt.

Het standaardbeleid is simpel en bewezen: houd de system message altijd aan (het bevat de instructies en persona die nooit mogen worden weggegooid), en gooi dan de oudste gewone beurten één voor één weg totdat de lopende token schatting in het budget past. Recente beurten zijn het belangrijkst voor coherentie, dus zijn ze als laatste weg.

Messages zien eruit als het bekende chatformaat:

[
  {"role": "system",    "content": "You are a careful assistant."},
  {"role": "user",      "content": "What is the capital of France?"},
  {"role": "assistant", "content": "The capital of France is Paris."},
  {"role": "user",      "content": "And of Spain?"}
]

Je hebt al een token estimator (chars/4) uit de vorige les; deze wordt hier voor je aangeboden als estimate_tokens. Tel deze op over de content van elke behouden bericht om het lopende totaal te krijgen.

Bouw fit_to_budget(messages, max_tokens). Geef een nieuwe lijst van berichten terug, in de oorspronkelijke volgorde, zodanig dat: de systeembericht(en) altijd behouden blijven; het totale geschatte aantal tokens van de behouden berichten is <= max_tokens wanneer verwijderen mogelijk is; en wanneer je moet verwijderen, verwijder je eerst de oudste niet-systeemberichten. Een ruim Budget houdt alles vast. Muteer de input lijst niet.

Jij bent aan de beurt

Schrijf fit_to_budget(messages, max_tokens) dat de bewaarde berichten in de oorspronkelijke volgorde teruggeeft. Houd elk systeembericht vast. Verwijder de oudste niet-systeemberichten één voor één totdat het totale geschatte aantal tokens (de som van estimate_tokens over elke content) <= max_tokens is. Een ruim Budget verwijdert niets; twee verschillende Budgets moeten verschillende sets behouden, en de meest recente beurten overleven boven oudere.

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Deze oefening opent binnenkort

Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.