Programma Les 180 van 250 · LLM's in productie brengen: Kosten, Caching & Guardrails
LLM's in productie brengen: Kosten, Caching & Guardrails

Semantische & Hash Caching

De goedkoopste modelaanroep is de aanroep die je nooit doet. LLM-systemen in productie zetten een cache vóór het model, zodat herhaalde of bijna herhaalde vragen gratis beantwoord worden. Twee varianten dekken de meeste gevallen.

Hashcaching gebruikt het exacte verzoek als sleutel. De truc is eerst te normaliseren, zodat prompts die maar weinig verschillen samenvallen: zet de tekst in kleine letters, vouw reeksen witruimte samen tot één spatie, en neem eventuele opties (temperatuur, model) in een stabiele, gesorteerde volgorde mee voordat je hasht. Dan delen " Hello World " en "hello world" één sleutel. Kleine letters is een afweging: bij de meeste vragen verandert hoofdletter of niet het antwoord niet, maar soms wel (een code-identifier, "US" tegenover "us"), dus laat het weg als je prompts hoofdlettergevoelig zijn.

import hashlib, re
norm = re.sub(r"\s+", " ", prompt.strip().lower())
key  = hashlib.sha256(norm.encode()).hexdigest()

Semantische caching gaat verder: hij geeft een antwoord uit de cache terug als een nieuwe vraag hetzelfde betekent als een oude, gemeten met cosinusgelijkenis tussen embeddingvectoren. Scoort de dichtstbijzijnde opgeslagen vector op of boven een drempel (zeg 0.9), dan is het een treffer; anders is het een misser en roep je het model aan. In een echte app komen de vectoren van een embeddingmodel; hier geven we ze direct mee, zodat de logica deterministisch blijft. Het gevaar is een valse treffer: "how do I cancel my order?" en "how do I cancel my subscription?" kunnen in de embeddingruimte heel dicht bij elkaar liggen en hebben verschillende antwoorden nodig. Zet de drempel hoog, meet valse treffers op echt verkeer voordat je erop vertrouwt, en cache nooit semantisch antwoorden die afhangen van wie het vraagt.

cosine(a, b) = dot(a, b) / (norm(a) * norm(b))

Bouw drie dingen. (1) Een klasse SemanticCache met put(query_vec, answer) en get(query_vec), die het opgeslagen antwoord van het dichtstbijzijnde item teruggeeft als de cosinusgelijkenis >= self.threshold is, en anders None. (2) cache_key(prompt, **opts), die normaliseert (kleine letters, witruimte samenvouwen, optiesleutels sorteren) en een hex-digest van hashlib.sha256 teruggeeft, zodat twee oppervlakkig verschillende prompts op dezelfde sleutel uitkomen. (3) make_memoized(fn) -> een aanroepbaar object dat cache_key gebruikt om resultaten te cachen en de tellers .hits en .misses beschikbaar maakt.

Jij bent aan de beurt

Bouw (1) SemanticCache (een threshold in __init__, plus put(query_vec, answer) en get(query_vec) die het dichtstbijzijnde antwoord teruggeven wanneer de cosine similarity >= drempel is anders None); (2) cache_key(prompt, **opts): normaliseer de prompt met re.sub(r"\s+", " ", prompt.strip().lower()), hash daarna "|".join([normalised] + ["%s=%s" % (k, opts[k]) for k in sorted(opts)]) met hashlib.sha256 en geef de hex digest terug (de check vergelijkt met precies dit recept); (3) make_memoized(fn) die een aanroepbare met .hits en .misses teruggeeft. Een bijna-duplicaat vector moet raken, een verre moet missen, en twee prompts met verschillende tussenruimtes moeten een sleutel delen.

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Deze oefening opent binnenkort

Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.