Orçamento de contexto e de tokens
Todo modelo tem uma janela de contexto finita, e você paga por token. Quando uma conversa passa do orçamento, você não pode enviar tudo, então decide o que manter. A política padrão: manter o system prompt (ele define as regras) mais as mensagens mais recentes que ainda cabem, e descartar as mais antigas.
Você vai construir um controlador de orçamento simples. Primeiro, um estimador aproximado de tokens: tokenizadores reais são específicos de cada modelo, mas uma boa aproximação offline é de cerca de 4 caracteres por token. estimate_tokens(text) retorna len(text) // 4 (e 0 para texto vazio, pelo menos 1 para qualquer texto não vazio).
Depois fit_context(system, messages, budget) decide o que sobrevive:
- O system prompt é contado primeiro e sempre mantido.
- Percorra as mensagens da mais nova para a mais antiga, mantendo cada uma cujos tokens ainda cabem no orçamento; pare quando a próxima estourar.
- Retorne
{"kept": [...], "dropped": n, "tokens": total}comkeptde volta em ordem cronológica.
# three 10-token messages, budget 20, no system
fit_context("", [m1, m2, m3], 20)
# {"kept": [m2, m3], "dropped": 1, "tokens": 20} # newest two surviveAs duas sutilezas que o avaliador verifica: um orçamento mais apertado mantém menos mensagens (e as certas), e um system prompt não vazio consome parte do orçamento, então cabem menos mensagens. Percorra de trás para frente para escolher as mais novas primeiro e depois inverta a lista mantida para que a conversa fique em ordem. Clique em Run para avaliar.
Escreva estimate_tokens(text), que retorna len(text) // 4 (0 para vazio, pelo menos 1 para não vazio). Escreva fit_context(system, messages, budget), que conta o system primeiro, mantém as mensagens mais novas que cabem (percorrendo de trás para frente) e retorna {"kept", "dropped", "tokens"} com kept de volta em ordem cronológica.
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.