Cache semantica e con hash
La chiamata al modello più economica è quella che non fai mai. I sistemi LLM di produzione mettono una cache davanti al modello così le domande ripetute o quasi ripetute ricevono risposta gratis. Due tipi coprono la maggior parte dei casi.
La cache con hash usa come chiave la richiesta esatta. Il trucco è normalizzare prima così i prompt banalmente diversi coincidono: metti il testo in minuscolo, comprimi le sequenze di spazi in un solo spazio, e aggiungi le opzioni (temperatura, modello) in un ordine stabile e ordinato prima di fare l'hash. Così " Hello World " e "hello world" condividono una chiave. Il minuscolo è un compromesso: per la maggior parte delle domande le maiuscole non cambiano la risposta, ma a volte sì (un identificatore di codice, "US" contro "us"), quindi lascialo fuori quando i tuoi prompt distinguono le maiuscole.
import hashlib, re
norm = re.sub(r"\s+", " ", prompt.strip().lower())
key = hashlib.sha256(norm.encode()).hexdigest()La cache semantica va oltre: restituisce una risposta in cache quando una nuova query significa la stessa cosa di una vecchia, misurato con la similarità del coseno tra vettori di embedding. Se il vettore salvato più vicino ottiene almeno una soglia (per esempio 0.9), è un successo; altrimenti è un buco e chiami il modello. In un'app vera i vettori vengono da un modello di embedding; qui li passiamo direttamente così la logica resta deterministica. Il pericolo è un falso successo: "how do I cancel my order?" e "how do I cancel my subscription?" possono stare molto vicini nello spazio di embedding e avere bisogno di risposte diverse. Metti la soglia alta, misura i falsi successi sul traffico reale prima di fidarti, e non mettere mai in cache semantica risposte che dipendono da chi chiede.
cosine(a, b) = dot(a, b) / (norm(a) * norm(b))Costruisci tre cose. (1) Una classe SemanticCache con put(query_vec, answer) e get(query_vec) che restituisce la risposta salvata della voce più vicina quando la sua similarità del coseno è >= self.threshold, altrimenti None. (2) cache_key(prompt, **opts) che normalizza (minuscolo, spazi compressi, chiavi delle opzioni ordinate) e restituisce un digest esadecimale hashlib.sha256, così due prompt diversi in superficie finiscono sulla stessa chiave. (3) make_memoized(fn) -> una funzione chiamabile che usa cache_key per mettere in cache i risultati ed espone i contatori .hits e .misses.
Costruisci (1) SemanticCache (una threshold in __init__, più put(query_vec, answer) e get(query_vec) che restituisce la risposta più vicina quando la similarità del coseno è >= threshold altrimenti None); (2) cache_key(prompt, **opts): normalizza il prompt con re.sub(r"\s+", " ", prompt.strip().lower()), poi fai l'hash di "|".join([normalised] + ["%s=%s" % (k, opts[k]) for k in sorted(opts)]) con hashlib.sha256 e restituisci il digest esadecimale (la verifica confronta esattamente con questa ricetta); (3) make_memoized(fn) che restituisce una funzione chiamabile con .hits e .misses. Un vettore quasi doppione deve dare successo, uno lontano deve dare buco, e due prompt con spaziature diverse devono condividere una chiave.
Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione
Questo esercizio si apre presto
Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.
Questo browser blocca i cookie per learn.floati.life, quindi le lezioni che hai finito qui non si possono aprire in ordine. Consenti i cookie per questo sito e ricarica.