Conteúdo do curso Lição 227 de 250 · Projeto: Production AI Gateway
Projeto: Production AI Gateway

Contabilidade de Token/Custo + Caching

Suas rotas de gateway encaminham requisições agora, mas cada chamada para um modelo real custa dinheiro e tempo. As duas maiores alavancas que você controla são cost accounting (para que ninguém se assuste com a conta) e caching (para que você pare de pagar pela mesma resposta duas vezes). Esta lição constrói ambas, e o caching tem um detalhe que o torna genuinamente útil: ele captura perguntas quase duplicadas, não apenas repetições byte a byte.

Comece com o medidor. Uma estimativa de token barata e determinística é "cerca de um token por quatro caracteres", e o custo é apenas tokens vezes uma taxa por token:

def estimate_cost(text, rate):
    tokens = len(text) // 4
    return tokens * rate

Agora o cache. Um cache ingênuo usa a string exata como chave, então "Reset my password" e "reset my password" parecem perguntas diferentes e ambos pagam o preço total. Você vai construir um two-tier Cache classe:

  • Nível de Hash: normalize o texto (minúsculas, remova espaços extras), faça o hash e armazene a resposta sob essa chave. Uma repetição exata (após normalizar) é um acerto instantâneo.
  • Nível semântico:quando o hash falha, compare o embedding da consulta com cada embedding armazenado por cosine similarity. Se o mais próximo estiver no ou acima de um limite (digamos 0.9), isso também conta como um acerto. É assim que "password reset steps" acerta um "how do I reset my password" em cache.

Tanto put quanto get pegam o texto and um embedding pré-computado (um vetor pequeno). get retorna uma tupla (status, value) onde status é "hit" ou "miss":

def get(self, text, embedding):
    key = self._key(text)
    if key in self.by_hash:            # tier 1: exact
        return ("hit", self.by_hash[key])
    best, best_sim = None, -1.0        # tier 2: semantic
    for vec, answer in self.entries:
        sim = cosine(embedding, vec)
        if sim > best_sim:
            best_sim, best = sim, answer
    if best is not None and best_sim >= self.threshold:
        return ("hit", best)
    return ("miss", None)

A similaridade de cosseno é o produto escalar dividido pelo produto das normas; proteja contra um vetor zero para você nunca dividir por zero. Em um gateway real esses embeddings vêm do modelo, mas aqui você os passa diretamente para que a lógica seja testável offline. Pressione Run para precificar um prompt, acerte o cache exatamente, acerte de novo em uma paráfrase e veja uma consulta não relacionada falhar.

Sua vez

Escreva estimate_cost(text, rate) retornando uma estimativa de token (~1 token por 4 chars) vezes o rate por token. Depois construa uma classe Cache de dois níveis com put(text, embedding, answer) e get(text, embedding) que retorna uma tupla (status, value). get é um "hit" em uma correspondência de texto exata (normalizada: minúsculas, espaços colapsados) via hash, OU quando o embedding armazenado mais próximo tem similaridade de cosseno >= o limite (um acerto semântico); caso contrário ("miss", None). Uma consulta distinta com baixa similaridade deve falhar.

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.