Conteúdo do curso Lição 179 de 250 · Produzindo LLMs em produção: Custo, Caching e Guardrails
Produzindo LLMs em produção: Custo, Caching e Guardrails

Orçamentador de Janela de Contexto

Cada modelo tem uma janela de contexto context window finita: o máximo de tokens que ele pode ler em uma única chamada. Um histórico de chat longo acaba transbordando, e a chamada ou dá erro ou trunca silenciosamente. A correção de produção é um budgeter que corta a conversa antes de você enviá-la.

A política padrão é simples e testada em batalha: sempre mantenha a system message (ela carrega as instruções e a persona que nunca devem ser descartadas), depois descarte as mais antigas turns comuns uma por uma até que a estimativa de tokens em execução caiba no orçamento. Turns recentes importam mais para a coerência, então são as últimas a sair.

As mensagens parecem o formato de chat familiar:

[
  {"role": "system",    "content": "You are a careful assistant."},
  {"role": "user",      "content": "What is the capital of France?"},
  {"role": "assistant", "content": "The capital of France is Paris."},
  {"role": "user",      "content": "And of Spain?"}
]

Você já tem um estimador de token (chars/4) da lição anterior; ele é fornecido aqui como estimate_tokens. Some ele sobre o content de cada mensagem mantida para obter o total acumulado.

Construa fit_to_budget(messages, max_tokens). Retorne uma nova list of messages, na ordem original, de modo que: as system message(s) sejam sempre mantidas; o total estimado de tokens das mensagens mantidas seja <= max_tokens sempre que o descarte for possível; e quando você precisar descartar, descarte primeiro as mensagens non-system mais antigas. Um Orçamento generoso mantém tudo. Não mute a input list.

Sua vez

Escreva fit_to_budget(messages, max_tokens) que retorna as mensagens mantidas na ordem original. Mantenha cada mensagem de sistema. Remova as mensagens não de sistema mais antigas uma por uma até que a contagem total estimada de tokens (somando estimate_tokens sobre cada content) seja <= max_tokens. Um Orçamento generoso não remove nada; dois Orçamentos diferentes devem manter conjuntos diferentes, e as turnos mais recentes sobrevivem sobre os mais antigos.

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.