Token/Kostenboekhouding + Caching
Je gateway routeert nu verzoeken, maar elke aanroep naar een echt model kost geld en tijd. De twee grootste hefbomen die je beheerst zijn cost accounting (zodat niemand wordt verrast door de rekening) en caching (zodat je niet twee keer betaalt voor hetzelfde antwoord). Deze les bouwt beide op, en de caching heeft een twist die het echt nuttig maakt: het vangt bijna identieke vragen op, niet alleen byte-voor-byte herhalingen.
Begin met de meter. Een goedkope, deterministische token schatting is "ongeveer één token per vier tekens," en de kosten zijn gewoon tokens vermenigvuldigd met een tarief per token:
def estimate_cost(text, rate):
tokens = len(text) // 4
return tokens * rateNu de cache. Een naïeve cache kijkt naar de exacte string, dus "Reset my password" en "reset my password" zien eruit als verschillende vragen en beide betalen de volle prijs. Je gaat een two-tier Cache class:
- Hash tier: normaliseer de tekst (kleine letters, verwijder extra spaties), hash het en sla het verzegeld antwoord op onder die sleutel. Een exacte herhaling (na normalisatie) is een directe hit.
- Semantisch niveau: als de hash mist, vergelijk de embedding van de query met elke opgeslagen embedding via cosine similarity. Als de dichtstbijzijnde op of boven een drempelwaarde (bijvoorbeeld
0.9) zit, telt dat ook als een hit. Dit is hoe"password reset steps"een gecachte"how do I reset my password"raakt.
Zowel put als get nemen de tekst and een vooraf berekende embedding (een kleine vector). get geeft een (status, value) tuple terug waar status "hit" of "miss" is:
def get(self, text, embedding):
key = self._key(text)
if key in self.by_hash: # tier 1: exact
return ("hit", self.by_hash[key])
best, best_sim = None, -1.0 # tier 2: semantic
for vec, answer in self.entries:
sim = cosine(embedding, vec)
if sim > best_sim:
best_sim, best = sim, answer
if best is not None and best_sim >= self.threshold:
return ("hit", best)
return ("miss", None)Cosine similarity is het dot product gedeeld door het product van de normen; bescherm tegen een nulvector zodat je nooit door nul deelt. In een echte gateway komen die embeddings van het model, maar hier geef je ze direct door zodat de logica offline testbaar is. Druk op Run om een prompt te prijzen, raak de cache precies, raak hem opnieuw bij een parafrase, en kijk hoe een niet-gerelateerde query mist.
Schrijf estimate_cost(text, rate) die een token schatting (~1 token per 4 tekens) keer de per-token rate teruggeeft. Bouw dan een twee-laagse Cache klasse met put(text, embedding, answer) en get(text, embedding) die een (status, value) tuple teruggeeft. get is een "hit" op een exacte (genormaliseerde: kleine letters, witruimte verwijderd) tekstmatch via een hash, OF wanneer de dichtstbijzijnde opgeslagen embedding een cosinusovereenkomst heeft van >= de drempel (een semantische hit); anders ("miss", None). Een aparte query met lage overeenkomst moet missen.
Een probleem ontdekt in deze les? Meld het · Vraag naar deze les
Deze oefening opent binnenkort
Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.
Deze browser blokkeert cookies voor learn.floati.life, dus lessen die je hier hebt afgerond kunnen niet in de juiste volgorde worden geopend. Sta cookies toe voor deze site en laad de pagina opnieuw.