Orçamentador de Janela de Contexto
Cada modelo tem uma janela de contexto context window finita: o máximo de tokens que ele pode ler em uma única chamada. Um histórico de chat longo acaba transbordando, e a chamada ou dá erro ou trunca silenciosamente. A correção de produção é um budgeter que corta a conversa antes de você enviá-la.
A política padrão é simples e testada em batalha: sempre mantenha a system message (ela carrega as instruções e a persona que nunca devem ser descartadas), depois descarte as mais antigas turns comuns uma por uma até que a estimativa de tokens em execução caiba no orçamento. Turns recentes importam mais para a coerência, então são as últimas a sair.
As mensagens parecem o formato de chat familiar:
[
{"role": "system", "content": "You are a careful assistant."},
{"role": "user", "content": "What is the capital of France?"},
{"role": "assistant", "content": "The capital of France is Paris."},
{"role": "user", "content": "And of Spain?"}
]Você já tem um estimador de token (chars/4) da lição anterior; ele é fornecido aqui como estimate_tokens. Some ele sobre o content de cada mensagem mantida para obter o total acumulado.
Construa fit_to_budget(messages, max_tokens). Retorne uma nova list of messages, na ordem original, de modo que: as system message(s) sejam sempre mantidas; o total estimado de tokens das mensagens mantidas seja <= max_tokens sempre que o descarte for possível; e quando você precisar descartar, descarte primeiro as mensagens non-system mais antigas. Um Orçamento generoso mantém tudo. Não mute a input list.
Escreva fit_to_budget(messages, max_tokens) que retorna as mensagens mantidas na ordem original. Mantenha cada mensagem de sistema. Remova as mensagens não de sistema mais antigas uma por uma até que a contagem total estimada de tokens (somando estimate_tokens sobre cada content) seja <= max_tokens. Um Orçamento generoso não remove nada; dois Orçamentos diferentes devem manter conjuntos diferentes, e as turnos mais recentes sobrevivem sobre os mais antigos.
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.