Semantisches & Hash Caching
Der billigste Modellaufruf ist der, den du nie machst. Produktions-LLM-Systeme setzen einen cache vor das Modell, damit wiederholte oder fast identische Fragen kostenlos beantwortet werden. Zwei Varianten decken die meisten Fälle ab.
Hash caching Schlüssel auf die exakte Anfrage. Der Trick ist, normalize zuerst, damit trivial unterschiedliche Prompts kollidieren: den Text kleinschreiben, aufeinanderfolgende Leerzeichen zu einem einzelnen Leerzeichen zusammenfassen und Optionen (temperature, model) in einer stabilen, sortierten Reihenfolge vor dem Hashing einfügen. Dann teilen " Hello World " und "hello world" einen Schlüssel. Kleinschreibung ist ein Kompromiss: für die meisten Fragen ändert die Großschreibung die Antwort nicht, aber manchmal tut sie es (ein Code-Identifikator, "US" gegenüber "us"), also lass es weg, wenn deine Prompts case-sensitive sind.
import hashlib, re
norm = re.sub(r"\s+", " ", prompt.strip().lower())
key = hashlib.sha256(norm.encode()).hexdigest()Semantic caching geht weiter: es gibt eine versiegelte Antwort zurück, wenn eine neue Abfrage bedeutet das Gleiche wie eine alte, gemessen durch cosine similarity zwischen Embedding-Vektoren. Wenn der nächste gespeicherte Vektor einen Wert an oder über einem Schwellenwert erreicht (zum Beispiel 0.9), ist es ein Hit; ansonsten ist es ein Miss und du rufst das Modell auf. In einer echten App kommen die Vektoren von einem Embedding-Modell; hier geben wir sie direkt an, damit die Logik deterministisch bleibt. Die Gefahr ist ein false hit: "wie kann ich meine Bestellung stornieren?" und "wie kann ich mein Abonnement kündigen?" können im Embedding-Raum sehr nah beieinander liegen und benötigen unterschiedliche Antworten. Setze den Schwellenwert hoch, messe false hits auf echtem Traffic, bevor du ihm vertraust, und cache niemals Antworten semantisch, die davon abhängen, wer fragt.
cosine(a, b) = dot(a, b) / (norm(a) * norm(b))Baue drei Dinge. (1) Eine Klasse SemanticCache mit put(query_vec, answer) und get(query_vec), die die gespeicherte Antwort des nächsten Eintrags zurückgibt, wenn die Cosine Similarity >= self.threshold ist, sonst None. (2) cache_key(prompt, **opts), das normalisiert (Kleinschreibung, Leerzeichen entfernen, Option-Keys sortieren) und einen Hex-hashlib.sha256 Digest zurückgibt, damit zwei oberflächlich unterschiedliche Prompts auf denselben Key abgebildet werden. (3) make_memoized(fn) -> ein Callable, das cache_key nutzt, um Ergebnisse zu cachen und .hits und .misses Zähler offenlegt.
Erstelle (1) SemanticCache (ein threshold in __init__, plus put(query_vec, answer) und get(query_vec), die die nächste Antwort zurückgeben, wenn die Cosine Similarity >= Schwellenwert ist, sonst None); (2) cache_key(prompt, **opts): normalisiere den Prompt mit re.sub(r"\s+", " ", prompt.strip().lower()), dann hashe "|".join([normalised] + ["%s=%s" % (k, opts[k]) for k in sorted(opts)]) mit hashlib.sha256 und gib den Hex-Digest zurück (der Check vergleicht genau mit diesem Rezept); (3) make_memoized(fn), das einen Callable mit .hits und .misses zurückgibt. Ein fast duplizierter Vektor muss treffen, ein ferner muss verfehlen, und zwei unterschiedlich beabstandete Prompts müssen einen Schlüssel teilen.
Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion
Diese Übung öffnet bald
Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.
Dieser Browser blockiert Cookies für learn.floati.life, daher können hier beendigte Lektionen nicht in der richtigen Reihenfolge geöffnet werden. Erlaube Cookies für diese Seite und lade sie neu.