Token/Kostenabrechnung + Caching
Dein Gateway leitet Anfragen jetzt weiter, aber jeder Aufruf zu einem echten Modell kostet Geld und Zeit. Die zwei größten Hebel, die du kontrollierst, sind cost accounting (damit niemand von der Rechnung schockiert ist) und caching (damit du nicht zweimal für dieselbe Antwort bezahlst). Diese Lektion baut beides auf, und das Caching hat eine Wendung, die es wirklich nützlich macht: es fängt fast identische Fragen ab, nicht nur Byte-für-Byte Wiederholungen.
Beginne mit dem Meter. Eine billige, deterministische Token-Schätzung ist „etwa ein Token pro vier Zeichen“ und die Kosten sind einfach Tokens mal eine Rate pro Token:
def estimate_cost(text, rate):
tokens = len(text) // 4
return tokens * rateJetzt der Cache. Ein naiver Cache nutzt den exakten String als Schlüssel, also sehen "Reset my password" und "reset my password" aus wie verschiedene Fragen und beide kosten den vollen Preis. Du wirst eine two-tier Cache Klasse bauen:
- Hash-Ebene: normalisiere den Text (Kleinschreibung, Leerzeichen zusammenfassen), hashe ihn und speichere die versiegelte Antwort unter diesem Schlüssel. Eine exakte Wiederholung (nach der Normalisierung) ist ein sofortiger Treffer.
- Semantische Ebene: wenn der Hash fehlschlägt, vergleiche das embedding der Abfrage mit jedem gespeicherten Embedding mittels cosine similarity. Wenn das nächste bei oder über einem Schwellenwert (zum Beispiel
0.9) liegt, zählt das auch als Treffer. So erreicht"password reset steps"einen gecachten"how do I reset my password".
Sowohl put als auch get nehmen den Text and ein vorab berechnetes embedding (einen kleinen Vektor). get gibt ein (status, value) Tupel zurück, wobei status "hit" oder "miss" ist:
def get(self, text, embedding):
key = self._key(text)
if key in self.by_hash: # tier 1: exact
return ("hit", self.by_hash[key])
best, best_sim = None, -1.0 # tier 2: semantic
for vec, answer in self.entries:
sim = cosine(embedding, vec)
if sim > best_sim:
best_sim, best = sim, answer
if best is not None and best_sim >= self.threshold:
return ("hit", best)
return ("miss", None)Die Cosine similarity ist das Skalarprodukt geteilt durch das Produkt der Normen; schütze dich vor einem Nullvektor, damit du niemals durch Null teilst. In einem echten Gateway kommen diese Embeddings vom Modell, aber hier übergibst du sie direkt, damit die Logik offline testbar ist. Drücke Run, um einen Prompt zu bepreisen, triff genau den Cache, triff ihn erneut bei einer Paraphrase und beobachte, wie eine nicht verwandte Abfrage fehlschlägt.
Schreibe estimate_cost(text, rate) und gib eine Token-Schätzung (~1 Token pro 4 Zeichen) mal den rate pro Token zurück. Erstelle dann eine Cache Klasse mit zwei Ebenen mit put(text, embedding, answer) und get(text, embedding), die ein (status, value) Tupel zurückgibt. get ist ein "hit" bei einer exakten (normalisierten: kleingeschrieben, Leerzeichen entfernt) Textübereinstimmung über einen Hash, ODER wenn das nächste gespeicherte Embedding eine Cosinus-Ähnlichkeit von >= zum Schwellenwert hat (ein semantischer Treffer); ansonsten ("miss", None). Eine andere Abfrage mit niedriger Ähnlichkeit muss fehlschlagen.
Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion
Diese Übung öffnet bald
Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.
Dieser Browser blockiert Cookies für learn.floati.life, daher können hier beendigte Lektionen nicht in der richtigen Reihenfolge geöffnet werden. Erlaube Cookies für diese Seite und lade sie neu.