Contabilidade de Tokens e Custos
A custa dinheiro real, e a conta é medida em tokens, não em caracteres ou palavras. Um token é aproximadamente um bloco de alguns caracteres. A contagem exata vem do tokenizer do modelo, mas para o Orçamento e dashboards uma boa regra prática é tokens ≈ characters / 4. Essa estimativa é próxima o suficiente para prever gastos, definir limites por requisição e identificar um prompt que está prestes a estourar seu Orçamento.
Providers cobram pelos tokens de input (prompt) e pelos tokens de output (completion) em taxas diferentes, geralmente cotados como dólares por 1.000.000 de tokens. O output costuma ser várias vezes mais caro que o input, então a divisão importa. O custo de uma chamada é:
cost = (prompt_tokens / 1_000_000) * in_rate
+ (completion_tokens / 1_000_000) * out_rateEm um app real você leria a contagem real de tokens direto da resposta. Por exemplo, um motor WebLLM no dispositivo entrega isso com a resposta:
const reply = await engine.chat.completions.create({ messages });
const used = reply.usage.completion_tokens; // exact count from the runtimeEssa chamada ao vivo é apenas ilustrativa. Aqui você constrói a camada de contabilidade determinística que envolve qualquer modelo: um estimator e uma cost function sobre uma tabela de preços. Estas são as duas funções de que todo dashboard de custo é feito.
Construa duas funções. estimate_tokens(text) retorna uma estimativa de token inteiro usando a regra chars/4 (use divisão inteira, então "" -> 0). estimate_cost(prompt_tokens, completion_tokens, in_rate, out_rate) retorna o custo em dólares usando a fórmula acima, onde as taxas são dólares por 1.000.000 de tokens. Mantenha ambas puras e sem efeitos colaterais.
Escreva estimate_tokens(text) que retorna uma estimativa de token inteiro (cerca de len(text) // 4, então uma string vazia é 0) e estimate_cost(prompt_tokens, completion_tokens, in_rate, out_rate) que retorna o custo em dólares, onde in_rate e out_rate são preços por 1,000,000 tokens. O texto mais longo dos dois nunca deve estimar menos tokens, e trocar uma chamada com foco em prompt por uma com foco em completion deve mudar o custo quando as duas taxas forem diferentes.
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.