Conteúdo do curso Lição 132 de 250 · Engenharia de prompts para engenheiros de IA
Engenharia de prompts para engenheiros de IA

Orçamento de contexto e de tokens

Todo modelo tem uma janela de contexto finita, e você paga por token. Quando uma conversa passa do orçamento, você não pode enviar tudo, então decide o que manter. A política padrão: manter o system prompt (ele define as regras) mais as mensagens mais recentes que ainda cabem, e descartar as mais antigas.

Você vai construir um controlador de orçamento simples. Primeiro, um estimador aproximado de tokens: tokenizadores reais são específicos de cada modelo, mas uma boa aproximação offline é de cerca de 4 caracteres por token. estimate_tokens(text) retorna len(text) // 4 (e 0 para texto vazio, pelo menos 1 para qualquer texto não vazio).

Depois fit_context(system, messages, budget) decide o que sobrevive:

  • O system prompt é contado primeiro e sempre mantido.
  • Percorra as mensagens da mais nova para a mais antiga, mantendo cada uma cujos tokens ainda cabem no orçamento; pare quando a próxima estourar.
  • Retorne {"kept": [...], "dropped": n, "tokens": total} com kept de volta em ordem cronológica.
# three 10-token messages, budget 20, no system
fit_context("", [m1, m2, m3], 20)
# {"kept": [m2, m3], "dropped": 1, "tokens": 20}   # newest two survive

As duas sutilezas que o avaliador verifica: um orçamento mais apertado mantém menos mensagens (e as certas), e um system prompt não vazio consome parte do orçamento, então cabem menos mensagens. Percorra de trás para frente para escolher as mais novas primeiro e depois inverta a lista mantida para que a conversa fique em ordem. Clique em Run para avaliar.

Sua vez

Escreva estimate_tokens(text), que retorna len(text) // 4 (0 para vazio, pelo menos 1 para não vazio). Escreva fit_context(system, messages, budget), que conta o system primeiro, mantém as mensagens mais novas que cabem (percorrendo de trás para frente) e retorna {"kept", "dropped", "tokens"} com kept de volta em ordem cronológica.

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.