Contabilidad de tokens y coste + caché
Tu pasarela ya enruta peticiones, pero cada llamada a un modelo real cuesta dinero y tiempo. Las dos palancas más grandes que controlas son la contabilidad de costes (para que nadie se lleve un susto con la factura) y la caché (para dejar de pagar dos veces por la misma respuesta). Esta lección construye las dos, y la caché tiene un giro que la hace realmente útil: atrapa preguntas casi duplicadas, no solo repeticiones idénticas byte a byte.
Empieza por el contador. Una estimación de tokens barata y determinista es "más o menos un token cada cuatro caracteres", y el coste es simplemente tokens por una tarifa por token:
def estimate_cost(text, rate):
tokens = len(text) // 4
return tokens * rateAhora la caché. Una caché ingenua usa como clave la cadena exacta, así que "Reset my password" y "reset my password" parecen preguntas distintas y las dos pagan el precio completo. Construirás una clase Cache de dos niveles:
- Nivel de hash: normaliza el texto (minúsculas, colapsar espacios), calcula su hash y guarda la respuesta bajo esa clave. Una repetición exacta (tras normalizar) es un acierto instantáneo.
- Nivel semántico: cuando el hash falla, compara el embedding de la consulta con cada embedding guardado mediante la similitud coseno. Si el más cercano está igual o por encima de un umbral (por ejemplo
0.9), eso también cuenta como acierto. Así es como"password reset steps"acierta con un"how do I reset my password"guardado.
Tanto put como get reciben el texto y un embedding precalculado (un vector pequeño). get devuelve una tupla (status, value), donde status es "hit" o "miss":
def get(self, text, embedding):
key = self._key(text)
if key in self.by_hash: # tier 1: exact
return ("hit", self.by_hash[key])
best, best_sim = None, -1.0 # tier 2: semantic
for vec, answer in self.entries:
sim = cosine(embedding, vec)
if sim > best_sim:
best_sim, best = sim, answer
if best is not None and best_sim >= self.threshold:
return ("hit", best)
return ("miss", None)La similitud coseno es el producto escalar dividido por el producto de las normas; protégete de un vector cero para no dividir nunca por cero. En una pasarela real esos embeddings salen del modelo, pero aquí los pasas directamente para que la lógica se pueda probar sin conexión. Pulsa Ejecutar para poner precio a un prompt, acertar en la caché de forma exacta, volver a acertar con una paráfrasis y ver cómo falla una consulta sin relación.
Escribe estimate_cost(text, rate), que devuelva una estimación de tokens (~1 token cada 4 caracteres) por la tarifa por token rate. Luego construye una clase Cache de dos niveles con put(text, embedding, answer) y get(text, embedding), que devuelva una tupla (status, value). get es un "hit" con una coincidencia exacta de texto (normalizado: en minúsculas y con los espacios colapsados) mediante un hash, O cuando el embedding guardado más cercano tiene una similitud coseno >= el umbral (un acierto semántico); si no, ("miss", None). Una consulta distinta con baja similitud debe fallar.
¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección
Este ejercicio se abre pronto
Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.
Este navegador está bloqueando las cookies de learn.floati.life, así que las lecciones que terminaste aquí no se pueden abrir en orden. Permite las cookies de este sitio y recarga.