Lehrplan Lektion 179 von 250 · LLMs in Produktion: Kosten, Caching & Guardrails
LLMs in Produktion: Kosten, Caching & Guardrails

Kontext-Fenster Budgeter

Jedes Modell hat ein begrenztes context window: die meisten Tokens, die es in einem Aufruf lesen kann. Ein langer Chatverlauf führt schließlich zum Überlaufen, und der Aufruf verursacht entweder einen Fehler oder kürzt den Text stillschweigend ab. Die Lösung für die Produktion ist ein budgeter, der das Gespräch kürzt, bevor du es sendest.

Die Standardrichtlinie ist einfach und erprobt: immer die Systemnachricht immer beibehalten (sie enthält die Anweisungen und die Persona, die niemals fallen dürfen), dann die ältesten gewöhnlichen Züge nacheinander löschen, bis die laufende Token-Schätzung zum Budget passt. Jüngere Züge sind für die Kohärenz am wichtigsten, also werden sie zuletzt gelöscht.

Messages sehen aus wie das vertraute Chatformat:

[
  {"role": "system",    "content": "You are a careful assistant."},
  {"role": "user",      "content": "What is the capital of France?"},
  {"role": "assistant", "content": "The capital of France is Paris."},
  {"role": "user",      "content": "And of Spain?"}
]

Du hast bereits einen Token-Schätzer (chars/4) aus der vorherigen Lektion; er wird dir hier als estimate_tokens zur Verfügung gestellt. Summiere ihn über die content jeder behaltenen Nachricht, um die laufende Summe zu erhalten.

Baue fit_to_budget(messages, max_tokens). Erstelle eine neue Liste von Nachrichten, in der ursprünglichen Reihenfolge, so dass: die Systemnachricht(en) immer behalten werden; die Gesamtzahl der geschätzten Tokens der behaltenen Nachrichten <= max_tokens ist, wann immer das Weglassen möglich ist; und wenn du weglassen musst, lässt du zuerst die ältesten Nicht-Systemnachrichten weg. Ein großzügiges Budget behält alles. Verändere die Eingabeliste nicht.

Du bist dran

Schreibe fit_to_budget(messages, max_tokens), das die behaltenen Nachrichten in der ursprünglichen Reihenfolge zurückgibt. Behalte jede Systemnachricht. Entferne die ältesten Nicht-Systemnachrichten nacheinander, bis die geschätzte Gesamtzahl der Token (Summe von estimate_tokens über jedes content) <= max_tokens beträgt. Ein großzügiges Budget entfernt nichts; zwei verschiedene Budgets müssen unterschiedliche Sätze behalten, und die neuesten Züge überleben über ältere.

Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion

Diese Übung öffnet bald

Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.