Lehrplan Lektion 227 von 250 · Projekt: Production AI Gateway
Projekt: Production AI Gateway

Token/Kostenabrechnung + Caching

Dein Gateway leitet Anfragen jetzt weiter, aber jeder Aufruf zu einem echten Modell kostet Geld und Zeit. Die zwei größten Hebel, die du kontrollierst, sind cost accounting (damit niemand von der Rechnung schockiert ist) und caching (damit du nicht zweimal für dieselbe Antwort bezahlst). Diese Lektion baut beides auf, und das Caching hat eine Wendung, die es wirklich nützlich macht: es fängt fast identische Fragen ab, nicht nur Byte-für-Byte Wiederholungen.

Beginne mit dem Meter. Eine billige, deterministische Token-Schätzung ist „etwa ein Token pro vier Zeichen“ und die Kosten sind einfach Tokens mal eine Rate pro Token:

def estimate_cost(text, rate):
    tokens = len(text) // 4
    return tokens * rate

Jetzt der Cache. Ein naiver Cache nutzt den exakten String als Schlüssel, also sehen "Reset my password" und "reset my password" aus wie verschiedene Fragen und beide kosten den vollen Preis. Du wirst eine two-tier Cache Klasse bauen:

  • Hash-Ebene: normalisiere den Text (Kleinschreibung, Leerzeichen zusammenfassen), hashe ihn und speichere die versiegelte Antwort unter diesem Schlüssel. Eine exakte Wiederholung (nach der Normalisierung) ist ein sofortiger Treffer.
  • Semantische Ebene: wenn der Hash fehlschlägt, vergleiche das embedding der Abfrage mit jedem gespeicherten Embedding mittels cosine similarity. Wenn das nächste bei oder über einem Schwellenwert (zum Beispiel 0.9) liegt, zählt das auch als Treffer. So erreicht "password reset steps" einen gecachten "how do I reset my password".

Sowohl put als auch get nehmen den Text and ein vorab berechnetes embedding (einen kleinen Vektor). get gibt ein (status, value) Tupel zurück, wobei status "hit" oder "miss" ist:

def get(self, text, embedding):
    key = self._key(text)
    if key in self.by_hash:            # tier 1: exact
        return ("hit", self.by_hash[key])
    best, best_sim = None, -1.0        # tier 2: semantic
    for vec, answer in self.entries:
        sim = cosine(embedding, vec)
        if sim > best_sim:
            best_sim, best = sim, answer
    if best is not None and best_sim >= self.threshold:
        return ("hit", best)
    return ("miss", None)

Die Cosine similarity ist das Skalarprodukt geteilt durch das Produkt der Normen; schütze dich vor einem Nullvektor, damit du niemals durch Null teilst. In einem echten Gateway kommen diese Embeddings vom Modell, aber hier übergibst du sie direkt, damit die Logik offline testbar ist. Drücke Run, um einen Prompt zu bepreisen, triff genau den Cache, triff ihn erneut bei einer Paraphrase und beobachte, wie eine nicht verwandte Abfrage fehlschlägt.

Du bist dran

Schreibe estimate_cost(text, rate) und gib eine Token-Schätzung (~1 Token pro 4 Zeichen) mal den rate pro Token zurück. Erstelle dann eine Cache Klasse mit zwei Ebenen mit put(text, embedding, answer) und get(text, embedding), die ein (status, value) Tupel zurückgibt. get ist ein "hit" bei einer exakten (normalisierten: kleingeschrieben, Leerzeichen entfernt) Textübereinstimmung über einen Hash, ODER wenn das nächste gespeicherte Embedding eine Cosinus-Ähnlichkeit von >= zum Schwellenwert hat (ein semantischer Treffer); ansonsten ("miss", None). Eine andere Abfrage mit niedriger Ähnlichkeit muss fehlschlagen.

Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion

Diese Übung öffnet bald

Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.