Lehrplan Lektion 132 von 250 · Prompt Engineering für KI Ingenieure
Prompt Engineering für KI Ingenieure

Kontext & Token Budgeting

Jedes Modell hat ein begrenztes context window, und du zahlst pro Token. Wenn ein Gespräch das Budget überschreitet, kannst du nicht alles senden, also entscheidest du, was du behältst. Die Standardregel: behalte den system prompt (er setzt die Regeln) plus die most recent Nachrichten, die noch passen, und lösche die ältesten.

Du wirst einen einfachen Budgeter bauen. Zuerst ein grober Token-Schätzer: echte Tokenizer sind modellspezifisch, aber eine solide Offline-Annäherung ist etwa 4 Zeichen pro Token. estimate_tokens(text) gibt len(text) // 4 zurück (und 0 für leeren Text, mindestens 1 für jeden nicht leeren Text).

Dann fit_context(system, messages, budget) entscheidet, was überlebt:

  • Der System-Prompt wird zuerst gezählt und immer beibehalten.
  • Gehe die Nachrichten von newest zu oldest durch und behalte jede Nachricht, deren Tokens noch unter das Budget passen; stoppe, wenn die nächste überlaufen würde.
  • Gib {"kept": [...], "dropped": n, "tokens": total} zurück mit kept wiederhergestellt in chronologische Reihenfolge.
# three 10-token messages, budget 20, no system
fit_context("", [m1, m2, m3], 20)
# {"kept": [m2, m3], "dropped": 1, "tokens": 20}   # newest two survive

Die zwei Feinheiten, die der Grader prüft: ein engeres Budget behält weniger (und die richtigen) Nachrichten, und ein nicht leerer System Prompt verbraucht das Budget, sodass weniger Nachrichten hineinpassen. Iteriere rückwärts, um die neuesten zuerst auszuwählen, und kehre die behaltene Liste dann wieder um, damit der Chat in der richtigen Reihenfolge lesbar ist. Drücke Run, um zu bewerten.

Du bist dran

Schreibe estimate_tokens(text), das len(text) // 4 zurückgibt (0 für leer, mindestens 1 für nicht leer). Schreibe fit_context(system, messages, budget), das das System zuerst zählt, die neuesten passenden Nachrichten behält (rückwärts iterieren) und {"kept", "dropped", "tokens"} mit kept in chronologischer Reihenfolge zurückgibt.

Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion

Diese Übung öffnet bald

Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.