Conteúdo do curso Lição 180 de 250 · Produzindo LLMs em produção: Custo, Caching e Guardrails
Produzindo LLMs em produção: Custo, Caching e Guardrails

Cache Semântico e de Hash

A chamada de modelo mais barata é aquela que você nunca faz. Sistemas de LLM em produção colocam um cache na frente do modelo para que perguntas repetidas ou quase repetidas sejam respondidas de graça. Dois sabores cobrem a maioria dos casos.

Cache de hash nas requisições exatas. O truque é normalizar primeiro para que prompts trivialmente diferentes colidam: coloque o texto em minúsculas, reduza sequências de espaços em branco a um único espaço e organize as opções (temperature, model) em uma ordem estável e ordenada antes de gerar o hash. Então " Hello World " e "hello world" compartilham uma única chave. Colocar em minúsculas é uma troca: para a maioria das perguntas o caso não muda a resposta, mas às vezes muda (um identificador de código, "US" contra "us"), então deixe de fora quando seus prompts forem sensíveis a maiúsculas e minúsculas.

import hashlib, re
norm = re.sub(r"\s+", " ", prompt.strip().lower())
key  = hashlib.sha256(norm.encode()).hexdigest()

Caching semântico vai além: ele retorna uma resposta em cache quando uma nova consulta significa a mesma coisa que uma antiga, medida pela similaridade de cosseno entre vetores de embedding. Se o vetor armazenado mais próximo pontua no ou acima de um limite (digamos 0.9), é um acerto; caso contrário é um erro e você chama o modelo. Em um app real os vetores vêm de um modelo de embedding; aqui nós os passamos diretamente para que a lógica continue determinística. O perigo é um falso acerto: "como eu cancelo meu pedido?" e "como eu cancelo minha assinatura?" podem ficar muito próximos no espaço de embedding e precisam de respostas diferentes. Defina o limite alto, meça falsos acertos no tráfego real antes de confiar nele e nunca faça cache semântico de respostas que dependem de quem está perguntando.

cosine(a, b) = dot(a, b) / (norm(a) * norm(b))

Construa três coisas. (1) Uma classe SemanticCache com put(query_vec, answer) e get(query_vec) que retorna a resposta selada da entrada mais próxima quando sua similaridade de cosseno é >= self.threshold, caso contrário None. (2) cache_key(prompt, **opts) que normaliza (minúsculas, remove espaços extras, ordena as chaves da opção) e retorna um resumo hashlib.sha256 em hexadecimal, para que dois prompts superficialmente diferentes mapeiem para a mesma chave. (3) make_memoized(fn) -> uma função chamável que usa cache_key para cachear resultados e expõe contadores .hits e .misses.

Sua vez

Construa (1) SemanticCache (um threshold em __init__, mais put(query_vec, answer) e get(query_vec) retornando a resposta mais próxima quando a similaridade de cosseno é >= threshold senão None); (2) cache_key(prompt, **opts): normalize o prompt com re.sub(r"\s+", " ", prompt.strip().lower()), depois faça o hash de "|".join([normalised] + ["%s=%s" % (k, opts[k]) for k in sorted(opts)]) com hashlib.sha256 e retorne o hex digest (a verificação compara com exatamente esta receita); (3) make_memoized(fn) retornando um callable com .hits e .misses. Um vetor quase duplicado deve acertar, um distante deve errar, e dois prompts com espaçamentos diferentes devem compartilhar uma chave.

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.