Kurrikulum Leson 227 van 250 · Projek: Produksie AI-poort
Projek: Produksie AI-poort

Token/Koste-rekening + Keshing

Jou gateway roeie versoeke nou, maar elke oproep na 'n regte model kos geld en tyd. Die twee grootste hefbome wat jy beheer is cost accounting (so niemand is geskok deur die rekening nie) en caching (so jy hou op om twee keer vir dieselfde antwoord te betaal). Hierdie les bou albei, en die caching het 'n draai wat dit werklik nuttig maak: dit vang byna identiese vrae op, nie net byte-vir-byte herhalings nie.

Begin met die meter. 'n Goedkoop, deterministiese token-skatting is "ongeveer een token per vier karakters," en koste is net tokens maal 'n per-token koers:

def estimate_cost(text, rate):
    tokens = len(text) // 4
    return tokens * rate

Nou die cache. 'n Naïef cache fokus op die presiese string, so "Reset my password" en "reset my password" lyk soos verskillende vrae en albei betaal die volle prys. Jy gaan 'n two-tier Cache class:

bou.
  • Hash-vlak: normaliseer die teks (kleinletters, verwyder ekstra spasies), hash dit, en stoor die antwoord onder daardie sleutel. 'n Presiese herhaling (nadat dit genormaliseer is) is 'n onmiddellike treffer.
  • Semantiese vlak:as die hash misluk, vergelyk die query se embedding met elke gestoorde embedding deur cosine similarity. As die naaste een by of bo 'n drempel is (sê 0.9), tel dit ook as 'n treffer. Dit is hoe "password reset steps" 'n gekasiede "how do I reset my password" tref.

Beide put en get neem die teks and 'n voorafberekende embedding ( 'n klein vektor). get gee 'n (status, value) tuple terug waar status "hit" of "miss" is:

def get(self, text, embedding):
    key = self._key(text)
    if key in self.by_hash:            # tier 1: exact
        return ("hit", self.by_hash[key])
    best, best_sim = None, -1.0        # tier 2: semantic
    for vec, answer in self.entries:
        sim = cosine(embedding, vec)
        if sim > best_sim:
            best_sim, best = sim, answer
    if best is not None and best_sim >= self.threshold:
        return ("hit", best)
    return ("miss", None)

Cosine similarity is die stipproduk gedeel deur die produk van die norme; beskerm teen 'n nulvektor sodat jy nooit deur nul deel nie. In 'n regte gateway kom daardie embeddings van die model, maar hier stuur jy hulle direk in sodat die logika buite aanlyn toetsbaar is. Druk Run om 'n prompt te prys, tref die cache presies, tref dit weer op 'n parafrase, en kyk hoe 'n onverwante navraag mis.

Jou beurt

Skryf estimate_cost(text, rate) wat 'n token-skatting (~1 token per 4 karakters) maal die per-token rate teruggee. Bou dan 'n twee-vlak Cache klas met put(text, embedding, answer) en get(text, embedding) wat 'n (status, value) tuple teruggee. get is 'n "hit" op 'n presiese (genormaliseerde: kleinletters, spasies saamgevoeg) teks-ooreenstemming via 'n hash, OF wanneer die naaste gestoorde embedding 'n kosinus-ooreenstemming van >= die drempel het ('n semantiese tref); andersins ("miss", None). 'n Afsonderlike navraag met lae ooreenstemming moet misluk.

Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les

Hierdie oefening open binnekort

Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.