Temario Lección 180 de 250 · Llevar los LLM a producción: coste, caché y barreras
Llevar los LLM a producción: coste, caché y barreras

Caché semántica y por hash

La llamada a un modelo más barata es la que nunca haces. Los sistemas de LLM en producción ponen una caché delante del modelo para que las preguntas repetidas o casi repetidas se respondan gratis. Dos variantes cubren la mayoría de los casos.

La caché por hash usa como clave la petición exacta. El truco es normalizar primero para que prompts trivialmente distintos coincidan: pasa el texto a minúsculas, colapsa las series de espacios en uno solo e incorpora las opciones (temperatura, modelo) en un orden estable y ordenado antes de calcular el hash. Así " Hello World " y "hello world" comparten clave. Pasar a minúsculas es un compromiso: en la mayoría de las preguntas las mayúsculas no cambian la respuesta, pero a veces sí (un identificador de código, "US" frente a "us"), así que no lo hagas cuando tus prompts distingan mayúsculas.

import hashlib, re
norm = re.sub(r"\s+", " ", prompt.strip().lower())
key  = hashlib.sha256(norm.encode()).hexdigest()

La caché semántica va más allá: devuelve una respuesta guardada cuando una consulta nueva significa lo mismo que una antigua, medido por la similitud coseno entre vectores de embeddings. Si el vector guardado más cercano puntúa igual o por encima de un umbral (por ejemplo 0.9), es un acierto; si no, es un fallo y llamas al modelo. En una aplicación real los vectores salen de un modelo de embeddings; aquí los pasamos directamente para que la lógica siga siendo determinista. El peligro es un falso acierto: "how do I cancel my order?" y "how do I cancel my subscription?" pueden quedar muy cerca en el espacio de embeddings y necesitar respuestas distintas. Pon un umbral alto, mide los falsos aciertos con tráfico real antes de fiarte, y nunca guardes en caché semántica respuestas que dependan de quién pregunta.

cosine(a, b) = dot(a, b) / (norm(a) * norm(b))

Construye tres cosas. (1) Una clase SemanticCache con put(query_vec, answer) y get(query_vec), que devuelva la respuesta guardada de la entrada más cercana cuando su similitud coseno sea >= self.threshold, y si no None. (2) cache_key(prompt, **opts), que normalice (minúsculas, colapsar espacios, ordenar las claves de las opciones) y devuelva un resumen hexadecimal de hashlib.sha256, para que dos prompts superficialmente distintos den la misma clave. (3) make_memoized(fn) -> un invocable que use cache_key para guardar resultados en caché y exponga los contadores .hits y .misses.

Tu turno

Construye (1) SemanticCache (un threshold en __init__, más put(query_vec, answer) y get(query_vec), que devuelva la respuesta más cercana cuando la similitud coseno sea >= threshold, y si no None); (2) cache_key(prompt, **opts): normaliza el prompt con re.sub(r"\s+", " ", prompt.strip().lower()), luego calcula el hash de "|".join([normalised] + ["%s=%s" % (k, opts[k]) for k in sorted(opts)]) con hashlib.sha256 y devuelve el resumen hexadecimal (la comprobación compara exactamente con esta receta); (3) make_memoized(fn), que devuelva un invocable con .hits y .misses. Un vector casi duplicado debe acertar, uno lejano debe fallar, y dos prompts con espacios distintos deben compartir clave.

¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección

Este ejercicio se abre pronto

Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.