Cache de prompt do lado do provedor
A última lição pulou o modelo quando uma requisição se repetia. Esta aqui torna a própria requisição mais barata. A maioria dos provedores oferece prompt caching: você marca um prefixo estável do seu prompt e, na próxima chamada que o reutiliza, o provedor pula o reprocessamento desses tokens e os cobra com um grande desconto. É uma alavanca diferente do cache de resposta que você acabou de construir:
- Cache de resposta (última lição): a resposta inteira é reutilizada, então você pula a chamada totalmente. Só funciona quando a pergunta se repete.
- Prompt cache (esta lição): a chamada ainda acontece e você ainda recebe uma resposta nova, mas o prefix compartilhado é mais barato. Funciona mesmo quando cada pergunta é diferente.
O que pertence ao prefixo em cache? As coisas grandes e estáveis que acompanham cada chamada: um prompt de sistema longo, definições de ferramentas, exemplos few-shot, um documento recuperado sobre o qual você fará várias perguntas. Você coloca a parte variável (a pergunta real do usuário) depois do breakpoint em cache. Com a Anthropic você marca o limite com um bloco cache_control:
system=[{"type": "text", "text": LONG_SYSTEM_PROMPT,
"cache_control": {"type": "ephemeral"}}]A economia tem três taxas, todas relativas ao preço normal de entrada. Um cache write (a primeira chamada, que armazena o prefixo) custa cerca de 1.25x de entrada. Um cache read (uma chamada posterior que acerta o prefixo armazenado) custa cerca de 0.1x de entrada. Um erro é apenas 1x. A entrada vive por alguns minutos e seu cronômetro atualiza em cada acerto, então um prefixo ocupado permanece quente. Três limites práticos: um prefixo mais curto que o mínimo do modelo (algumas centenas a alguns milhares de tokens, dependendo do modelo) não é cacheado silenciosamente; o cache é uma correspondência de prefixo, então mudar qualquer byte no início do prompt (um carimbo de data e hora no prompt do sistema, por exemplo) invalida tudo depois dele; e cada cache pertence a um modelo, então trocar de modelos começa do zero. Verifique usage.cache_read_input_tokens na resposta para ver se você realmente teve acertos. O ponto de equilíbrio é rápido: se um prefixo grande for reutilizado mesmo algumas vezes, a escrita única de 1.25x é superada por pagar 0.1x em vez de 1x em cada reutilização.
Você vai construir o modelo de custo que decide se fazer o cache de um prefixo vale a pena.
Modele a economia. Preços são dólares por 1.000.000 de tokens; use 3.0 para entrada e 15.0 para saída. (1) uncached_cost(prefix_tokens, variable_tokens, output_tokens, calls): cada chamada paga o preço total de entrada em prefix_tokens + variable_tokens mais o preço de saída em output_tokens, vezes calls. (2) cached_cost(prefix_tokens, variable_tokens, output_tokens, calls): o prefixo é escrito uma vez ao preço de entrada em 1.25x, depois é lido nas restantes calls - 1 chamadas ao preço de entrada em 0.1x; os tokens de variável sempre pagam o preço total de entrada, e a saída sempre paga o preço total de saída em cada chamada. Assuma calls >= 1. (3) caching_saves(prefix_tokens, variable_tokens, output_tokens, calls) retorna True quando cached_cost é estritamente menor que uncached_cost. Retorne floats simples (dólares).
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.