Lehrplan Lektion 181 von 250 · LLMs in Produktion: Kosten, Caching & Guardrails
LLMs in Produktion: Kosten, Caching & Guardrails

Providerseitiges Prompt-Caching

Die letzte Lektion hat das Modell übersprungen, wenn eine Anfrage wiederholt wurde. Diese hier macht die Anfrage selbst günstiger. Die meisten Anbieter bieten prompt cachingan: du markierst ein stabiles Präfix deines Prompts, und beim nächsten Aufruf, der es wiederverwendet, überspringt der Anbieter die erneute Verarbeitung dieser Token und berechnet sie mit einem hohen Rabatt. Es ist ein anderer Hebel als der Response Cache, den du gerade gebaut hast:

  • Response cache (letzte Lektion): die ganze Antwort wird wiederverwendet, also überspringst du den Aufruf komplett. Funktioniert nur, wenn die question wiederholt wird.
  • Prompt cache (diese Lektion): der Aufruf findet immer noch statt und du erhältst immer noch eine frische Antwort, aber das gemeinsame prefix ist günstiger. Funktioniert sogar wenn jede Frage unterschiedlich ist.

Was gehört in das gecachte Präfix? Die großen, stabilen Dinge, die bei jedem Aufruf mitkommen: ein langer system prompt, tool definitions, few-shot examples, ein retrieved document, zu dem du mehrere Fragen stellen wirst. Du setzt den variablen Teil (die eigentliche user question) nach dem gecachten breakpoint. Bei Anthropic markierst du die Grenze mit einem cache_control block:

system=[{"type": "text", "text": LONG_SYSTEM_PROMPT,
         "cache_control": {"type": "ephemeral"}}]

Die Wirtschaftlichkeit hat drei Raten, alle relativ zum normalen Eingabepreis. Ein Cache write (der erste Aufruf, der das Präfix speichert) kostet etwa 1.25x Input. Ein Cache read (ein späterer Aufruf, der das gespeicherte Präfix trifft) kostet etwa 0.1x Input. Ein Miss ist einfach 1x. Der Eintrag lebt für einige Minuten und sein Timer wird bei jedem Hit aktualisiert, sodass ein beschäftigtes Präfix warm bleibt. Drei praktische Grenzen: ein Präfix kürzer als das Minimum des Modells (ein paar hundert bis ein paar tausend Tokens, je nach Modell) wird stillschweigend nicht zwischengespeichert; der Cache ist ein Präfix-Match, also macht die Änderung eines Bytes am Anfang des Prompts (ein Zeitstempel im System-Prompt, zum Beispiel) alles danach ungültig; und jeder Cache gehört zu einem Modell, also beginnt der Wechsel der Modelle kalt. Prüfe usage.cache_read_input_tokens auf der Antwort, um zu sehen, ob du tatsächlich Hits erhalten hast. Der Break-even ist schnell: wenn ein großes Präfix nur eine Handvoll Mal wiederverwendet wird, wird das einmalige 1.25x Write von der Zahlung von 0.1x statt 1x bei jeder Wiederverwendung übertroffen.

Du wirst das Kostenmodell bauen, das entscheidet, ob das Cachen eines Präfixes sich lohnt.

Du bist dran

Modelliere die Wirtschaftlichkeit. Preise sind Dollar pro 1.000.000 Tokens; verwende 3.0 für Input und 15.0 für Output. (1) uncached_cost(prefix_tokens, variable_tokens, output_tokens, calls): jeder Aufruf zahlt den vollen Input-Preis auf prefix_tokens + variable_tokens plus den Output-Preis auf output_tokens, multipliziert mit calls. (2) cached_cost(prefix_tokens, variable_tokens, output_tokens, calls): das Präfix wird einmal zum 1.25x Input-Preis geschrieben, dann auf den restlichen calls - 1 Aufrufen zum 0.1x Input-Preis gelesen; die Variable tokens zahlen immer den vollen Input-Preis, und Output zahlt immer den vollen Output-Preis auf jedem Aufruf. Gehe von calls >= 1 aus. (3) caching_saves(prefix_tokens, variable_tokens, output_tokens, calls) gibt True zurück, wenn cached_cost strikt kleiner als uncached_cost ist. Gib einfache Floats (Dollar) zurück.

Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion

Diese Übung öffnet bald

Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.