Programme Leçon 180 sur 250 · Mettre les LLM en production : coût, cache et garde-fous
Mettre les LLM en production : coût, cache et garde-fous

Cache sémantique et par hash

L'appel au modèle le moins cher est celui qu'on ne fait jamais. Les systèmes LLM de production placent un cache devant le modèle pour que les questions répétées ou presque répétées aient une réponse gratuite. Deux variantes couvrent la plupart des cas.

Le cache par hash utilise la requête exacte comme clé. L'astuce est de normaliser d'abord pour que des prompts à peine différents tombent sur la même clé : passe le texte en minuscules, réduis les suites d'espaces à un seul espace, et ajoute les options (température, modèle) dans un ordre stable et trié avant de hacher. Alors " Hello World " et "hello world" partagent une clé. Passer en minuscules est un compromis : pour la plupart des questions, la casse ne change pas la réponse, mais parfois si (un identifiant de code, "US" contre "us"), donc ne le fais pas quand tes prompts sont sensibles à la casse.

import hashlib, re
norm = re.sub(r"\s+", " ", prompt.strip().lower())
key  = hashlib.sha256(norm.encode()).hexdigest()

Le cache sémantique va plus loin : il renvoie une réponse en cache quand une nouvelle requête veut dire la même chose qu'une ancienne, mesuré par la similarité cosinus entre vecteurs d'embedding. Si le vecteur stocké le plus proche atteint ou dépasse un seuil (disons 0.9), c'est un succès ; sinon c'est un échec et tu appelles le modèle. Dans une vraie appli, les vecteurs viennent d'un modèle d'embedding ; ici on les passe directement pour que la logique reste déterministe. Le danger est un faux succès : "how do I cancel my order?" et "how do I cancel my subscription?" peuvent être très proches dans l'espace des embeddings et demander des réponses différentes. Mets un seuil haut, mesure les faux succès sur du vrai trafic avant de t'y fier, et ne mets jamais en cache sémantique des réponses qui dépendent de qui pose la question.

cosine(a, b) = dot(a, b) / (norm(a) * norm(b))

Construis trois choses. (1) Une classe SemanticCache avec put(query_vec, answer) et get(query_vec) qui renvoie la réponse stockée de l'entrée la plus proche quand sa similarité cosinus est >= self.threshold, sinon None. (2) cache_key(prompt, **opts) qui normalise (minuscules, espaces réduits, clés d'options triées) et renvoie une empreinte hexadécimale hashlib.sha256, pour que deux prompts différents en apparence aient la même clé. (3) make_memoized(fn) -> une fonction qui utilise cache_key pour mettre les résultats en cache et expose les compteurs .hits et .misses.

À ton tour

Construis (1) SemanticCache (un threshold dans __init__, plus put(query_vec, answer) et get(query_vec) qui renvoie la réponse la plus proche quand la similarité cosinus est >= au seuil, sinon None) ; (2) cache_key(prompt, **opts) : normalise le prompt avec re.sub(r"\s+", " ", prompt.strip().lower()), puis hache "|".join([normalised] + ["%s=%s" % (k, opts[k]) for k in sorted(opts)]) avec hashlib.sha256 et renvoie l'empreinte hexadécimale (la vérification compare avec exactement cette recette) ; (3) make_memoized(fn) qui renvoie une fonction avec .hits et .misses. Un vecteur presque identique doit réussir, un vecteur lointain doit échouer, et deux prompts aux espaces différents doivent partager une clé.

Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon

Cet exercice s'ouvre bientôt

Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.