Conteúdo do curso Lição 181 de 250 · Produzindo LLMs em produção: Custo, Caching e Guardrails
Produzindo LLMs em produção: Custo, Caching e Guardrails

Cache de prompt do lado do provedor

A última lição pulou o modelo quando uma requisição se repetia. Esta aqui torna a própria requisição mais barata. A maioria dos provedores oferece prompt caching: você marca um prefixo estável do seu prompt e, na próxima chamada que o reutiliza, o provedor pula o reprocessamento desses tokens e os cobra com um grande desconto. É uma alavanca diferente do cache de resposta que você acabou de construir:

  • Cache de resposta (última lição): a resposta inteira é reutilizada, então você pula a chamada totalmente. Só funciona quando a pergunta se repete.
  • Prompt cache (esta lição): a chamada ainda acontece e você ainda recebe uma resposta nova, mas o prefix compartilhado é mais barato. Funciona mesmo quando cada pergunta é diferente.

O que pertence ao prefixo em cache? As coisas grandes e estáveis que acompanham cada chamada: um prompt de sistema longo, definições de ferramentas, exemplos few-shot, um documento recuperado sobre o qual você fará várias perguntas. Você coloca a parte variável (a pergunta real do usuário) depois do breakpoint em cache. Com a Anthropic você marca o limite com um bloco cache_control:

system=[{"type": "text", "text": LONG_SYSTEM_PROMPT,
         "cache_control": {"type": "ephemeral"}}]

A economia tem três taxas, todas relativas ao preço normal de entrada. Um cache write (a primeira chamada, que armazena o prefixo) custa cerca de 1.25x de entrada. Um cache read (uma chamada posterior que acerta o prefixo armazenado) custa cerca de 0.1x de entrada. Um erro é apenas 1x. A entrada vive por alguns minutos e seu cronômetro atualiza em cada acerto, então um prefixo ocupado permanece quente. Três limites práticos: um prefixo mais curto que o mínimo do modelo (algumas centenas a alguns milhares de tokens, dependendo do modelo) não é cacheado silenciosamente; o cache é uma correspondência de prefixo, então mudar qualquer byte no início do prompt (um carimbo de data e hora no prompt do sistema, por exemplo) invalida tudo depois dele; e cada cache pertence a um modelo, então trocar de modelos começa do zero. Verifique usage.cache_read_input_tokens na resposta para ver se você realmente teve acertos. O ponto de equilíbrio é rápido: se um prefixo grande for reutilizado mesmo algumas vezes, a escrita única de 1.25x é superada por pagar 0.1x em vez de 1x em cada reutilização.

Você vai construir o modelo de custo que decide se fazer o cache de um prefixo vale a pena.

Sua vez

Modele a economia. Preços são dólares por 1.000.000 de tokens; use 3.0 para entrada e 15.0 para saída. (1) uncached_cost(prefix_tokens, variable_tokens, output_tokens, calls): cada chamada paga o preço total de entrada em prefix_tokens + variable_tokens mais o preço de saída em output_tokens, vezes calls. (2) cached_cost(prefix_tokens, variable_tokens, output_tokens, calls): o prefixo é escrito uma vez ao preço de entrada em 1.25x, depois é lido nas restantes calls - 1 chamadas ao preço de entrada em 0.1x; os tokens de variável sempre pagam o preço total de entrada, e a saída sempre paga o preço total de saída em cada chamada. Assuma calls >= 1. (3) caching_saves(prefix_tokens, variable_tokens, output_tokens, calls) retorna True quando cached_cost é estritamente menor que uncached_cost. Retorne floats simples (dólares).

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.