Kurrikulum Leson 180 van 250 · Produksie van LLMs: Kostes, Keshing en Bewaakhekings
Produksie van LLMs: Kostes, Keshing en Bewaakhekings

Semantiese & Hash-kiesing

Die goedkoopste modeloproep is die een wat jy nooit maak nie. Produksie LLM-stelsels sit 'n cache voor die model sodat herhaalde of byna herhaalde vrae gratis beantwoord word. Twee weergawes dek die meeste gevalle.

Hash caching sleutels op die presiese versoek. Die truc is om normalize eerste sodat duidelik verskillende aanvrae bots: maak die teks kleinletter, skuif opeenvolgende witspasies na 'n enkele spasie, en voeg opsies (temperature, model) in 'n stabiele, gesorteerde volgorde by voor hashing. Dan " Hello World " en "hello world" deel een sleutel. Kleinletters is 'n afweging: vir die meeste vrae verander die hoofletter nie die antwoord nie, maar soms doen dit wel ('n kode-identifikasier, "US" teen "us"), so laat dit uit as jou aanvrae hooflettergevoelig is.

import hashlib, re
norm = re.sub(r"\s+", " ", prompt.strip().lower())
key  = hashlib.sha256(norm.encode()).hexdigest()

Semantiese keshiering gaan verder: dit gee 'n gekasde antwoord terug wanneer 'n nuwe navraag beteken dieselfde as 'n ou een, gemat by cosine similarity tussen embedding vectors. As die naaste gestoorde vektor by of bo 'n drempel (sê 0.9) tel, is dit 'n hit; andersins is dit 'n miss en jy roep die model. In 'n regte toepassing kom die vectors van 'n embedding model; hier gee ons hulle direk oor sodat die logika deterministies bly. Die gevaar is 'n false hit: "hoe kanselleer ek my bestelling?" en "hoe kanselleer ek my subskripsie?" kan baie naby in embedding space sit en verskillende antwoorde nodig hê. Stel die drempel hoog, meet false hits op regte verkeer voordat jy dit vertrou, en keshier nooit antwoorde wat afhang van wie vra nie.

cosine(a, b) = dot(a, b) / (norm(a) * norm(b))

Boue drie dinge. (1) 'n klas SemanticCache met put(query_vec, answer) en get(query_vec) wat die gestoorde antwoord van die naaste inskrywing teruggee wanneer sy cosine similarity >= self.threshold is, anders None. (2) cache_key(prompt, **opts) wat normaliseer (kleinletters, verwyder witspasies, sorteer die option keys) en 'n hex hashlib.sha256 digest teruggee, sodat twee oppervlakkig verskillende prompts na dieselfde sleutel kaart. (3) make_memoized(fn) -> 'n callable wat cache_key gebruik om resultate te kesh en .hits en .misses tellers blootstel.

Jou beurt

Bou (1) SemanticCache ( 'n threshold in __init__, plus put(query_vec, answer) en get(query_vec) wat die naaste antwoord teruggee wanneer cosine similarity >= drumpel is andersins None); (2) cache_key(prompt, **opts): normaliseer die prompt met re.sub(r"\s+", " ", prompt.strip().lower()), dan hash "|".join([normalised] + ["%s=%s" % (k, opts[k]) for k in sorted(opts)]) met hashlib.sha256 en gee die hex digest terug (die kontrole vergelyk met presies hierdie resep); (3) make_memoized(fn) wat 'n callable met .hits en .misses teruggee. 'n Byna-dubbel vektor moet tref, 'n verre een moet mis, en twee verskillend-gespasieerde prompts moet 'n sleutel deel.

Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les

Hierdie oefening open binnekort

Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.