Lehrplan Lektion 178 von 250 · LLMs in Produktion: Kosten, Caching & Guardrails
LLMs in Produktion: Kosten, Caching & Guardrails

Token & Kostenabrechnung

A Modellaufrufe kosten echtes Geld, und die Rechnung wird in tokens gemessen, nicht in Zeichen oder Wörtern. Ein Token ist etwa ein Stück aus einigen Zeichen. Die genaue Anzahl kommt vom Tokenizer des Modells, aber für das Budget und Dashboards ist tokens ≈ characters / 4 eine gute Faustregel. Diese Schätzung ist nah genug, um Ausgaben zu prognostizieren, Limits pro Anfrage festzulegen und einen Prompt zu erkennen, der kurz davor ist, dein Budget zu sprengen.

Provider berechnen input (prompt) Tokens und output (completion) Tokens zu unterschiedlichen Raten, meist angegeben in Dollar pro 1.000.000 Tokens. Der Output ist oft um ein Vielfaches teurer als der Input, also ist die Aufteilung wichtig. Die Kosten eines Aufrufs sind:

cost = (prompt_tokens / 1_000_000) * in_rate
     + (completion_tokens / 1_000_000) * out_rate

In einer echten App würdest du die echte Tokenanzahl direkt aus der Antwort lesen. Zum Beispiel gibt eine On-Device WebLLM Engine sie mit der Antwort zurück:

const reply = await engine.chat.completions.create({ messages });
const used = reply.usage.completion_tokens;  // exact count from the runtime

Dieser Live-Anruf dient nur zur Veranschaulichung. Hier baust du die deterministische Abrechnungsschicht auf, die um jedes Modell herum liegt: ein token estimator und eine cost Funktion über eine Preistabelle. Das sind die zwei Funktionen, aus denen jedes Kosten-Dashboard besteht.

Erstelle zwei Funktionen. estimate_tokens(text) gibt eine Schätzung für Integer-Token unter Verwendung der chars/4 Regel zurück (verwende Ganzzahldivision, also "" -> 0). estimate_cost(prompt_tokens, completion_tokens, in_rate, out_rate) gibt die Dollarkosten unter Verwendung der oben genannten Formel zurück, wobei die Raten Dollar pro 1.000.000 Token sind. Halte beide rein und frei von Nebenwirkungen.

Du bist dran

Schreibe estimate_tokens(text), das eine Integer-Token-Schätzung zurückgibt (etwa len(text) // 4, also ist ein leerer String 0) und estimate_cost(prompt_tokens, completion_tokens, in_rate, out_rate), das die Dollar-Kosten zurückgibt, wobei in_rate und out_rate die Preise pro 1.000.000 Tokens sind. Der längere der zwei Texte darf niemals weniger Tokens schätzen, und das Austauschen eines prompt-lastigen Aufrufs gegen einen completion-lastigen muss die Kosten ändern, wenn die zwei Raten unterschiedlich sind.

Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion

Diese Übung öffnet bald

Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.