Contabilidade de Token/Custo + Caching
Suas rotas de gateway encaminham requisições agora, mas cada chamada para um modelo real custa dinheiro e tempo. As duas maiores alavancas que você controla são cost accounting (para que ninguém se assuste com a conta) e caching (para que você pare de pagar pela mesma resposta duas vezes). Esta lição constrói ambas, e o caching tem um detalhe que o torna genuinamente útil: ele captura perguntas quase duplicadas, não apenas repetições byte a byte.
Comece com o medidor. Uma estimativa de token barata e determinística é "cerca de um token por quatro caracteres", e o custo é apenas tokens vezes uma taxa por token:
def estimate_cost(text, rate):
tokens = len(text) // 4
return tokens * rateAgora o cache. Um cache ingênuo usa a string exata como chave, então "Reset my password" e "reset my password" parecem perguntas diferentes e ambos pagam o preço total. Você vai construir um two-tier Cache classe:
- Nível de Hash: normalize o texto (minúsculas, remova espaços extras), faça o hash e armazene a resposta sob essa chave. Uma repetição exata (após normalizar) é um acerto instantâneo.
- Nível semântico:quando o hash falha, compare o embedding da consulta com cada embedding armazenado por cosine similarity. Se o mais próximo estiver no ou acima de um limite (digamos
0.9), isso também conta como um acerto. É assim que"password reset steps"acerta um"how do I reset my password"em cache.
Tanto put quanto get pegam o texto and um embedding pré-computado (um vetor pequeno). get retorna uma tupla (status, value) onde status é "hit" ou "miss":
def get(self, text, embedding):
key = self._key(text)
if key in self.by_hash: # tier 1: exact
return ("hit", self.by_hash[key])
best, best_sim = None, -1.0 # tier 2: semantic
for vec, answer in self.entries:
sim = cosine(embedding, vec)
if sim > best_sim:
best_sim, best = sim, answer
if best is not None and best_sim >= self.threshold:
return ("hit", best)
return ("miss", None)A similaridade de cosseno é o produto escalar dividido pelo produto das normas; proteja contra um vetor zero para você nunca dividir por zero. Em um gateway real esses embeddings vêm do modelo, mas aqui você os passa diretamente para que a lógica seja testável offline. Pressione Run para precificar um prompt, acerte o cache exatamente, acerte de novo em uma paráfrase e veja uma consulta não relacionada falhar.
Escreva estimate_cost(text, rate) retornando uma estimativa de token (~1 token por 4 chars) vezes o rate por token. Depois construa uma classe Cache de dois níveis com put(text, embedding, answer) e get(text, embedding) que retorna uma tupla (status, value). get é um "hit" em uma correspondência de texto exata (normalizada: minúsculas, espaços colapsados) via hash, OU quando o embedding armazenado mais próximo tem similaridade de cosseno >= o limite (um acerto semântico); caso contrário ("miss", None). Uma consulta distinta com baixa similaridade deve falhar.
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.