Conteúdo do curso Lição 178 de 250 · Produzindo LLMs em produção: Custo, Caching e Guardrails
Produzindo LLMs em produção: Custo, Caching e Guardrails

Contabilidade de Tokens e Custos

A chamada do modelo

A custa dinheiro real, e a conta é medida em tokens, não em caracteres ou palavras. Um token é aproximadamente um bloco de alguns caracteres. A contagem exata vem do tokenizer do modelo, mas para o Orçamento e dashboards uma boa regra prática é tokens ≈ characters / 4. Essa estimativa é próxima o suficiente para prever gastos, definir limites por requisição e identificar um prompt que está prestes a estourar seu Orçamento.

Os

Providers cobram pelos tokens de input (prompt) e pelos tokens de output (completion) em taxas diferentes, geralmente cotados como dólares por 1.000.000 de tokens. O output costuma ser várias vezes mais caro que o input, então a divisão importa. O custo de uma chamada é:

cost = (prompt_tokens / 1_000_000) * in_rate
     + (completion_tokens / 1_000_000) * out_rate

Em um app real você leria a contagem real de tokens direto da resposta. Por exemplo, um motor WebLLM no dispositivo entrega isso com a resposta:

const reply = await engine.chat.completions.create({ messages });
const used = reply.usage.completion_tokens;  // exact count from the runtime

Essa chamada ao vivo é apenas ilustrativa. Aqui você constrói a camada de contabilidade determinística que envolve qualquer modelo: um estimator e uma cost function sobre uma tabela de preços. Estas são as duas funções de que todo dashboard de custo é feito.

Construa duas funções. estimate_tokens(text) retorna uma estimativa de token inteiro usando a regra chars/4 (use divisão inteira, então "" -> 0). estimate_cost(prompt_tokens, completion_tokens, in_rate, out_rate) retorna o custo em dólares usando a fórmula acima, onde as taxas são dólares por 1.000.000 de tokens. Mantenha ambas puras e sem efeitos colaterais.

Sua vez

Escreva estimate_tokens(text) que retorna uma estimativa de token inteiro (cerca de len(text) // 4, então uma string vazia é 0) e estimate_cost(prompt_tokens, completion_tokens, in_rate, out_rate) que retorna o custo em dólares, onde in_rate e out_rate são preços por 1,000,000 tokens. O texto mais longo dos dois nunca deve estimar menos tokens, e trocar uma chamada com foco em prompt por uma com foco em completion deve mudar o custo quando as duas taxas forem diferentes.

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.