Memória de Conversa de Múltiplos Turnos
A não tem memória própria -> o modelo vê apenas o que você envia a cada chamada. Para manter uma conversa, você repete o histórico: a system message mais as trocas de mensagens até agora. Mas o histórico cresce sem limites e a context window não, então você precisa de uma memory que mantém a conversa e a corta para caber antes de cada chamada.
A política é aquela em que os sistemas de produção convergem. Sempre mantenha a system message -> ela carrega as instruções e a persona que nunca devem ser perdidas. Depois, mantenha o máximo de turnos mais recentes que couberem no orçamento, descartando primeiro os turnos comuns mais antigos, porque o contexto recente importa mais para uma resposta coerente. Orçamentos de tokens usam a estimativa familiar chars / 4.
convo = Conversation(system="You are a careful assistant.")
convo.add("user", "Tell me about Rome.")
convo.add("assistant", "Rome is the capital of Italy.")
context = convo.trimmed_context(max_tokens=64) # what you actually sendEste é exatamente o objeto que fica à frente de qualquer modelo de chat, incluindo um motor WebLLM no dispositivo: você acumula turnos e depois passa trimmed_context(...) como as mensagens para a próxima chamada. Nenhum modelo roda aqui -> a lógica de corte é determinística e avaliada diretamente.
Construa uma classe Conversation.O construtor recebe uma system message opcional (fixada, nunca descartada). add(role, content) anexa um turno. trimmed_context(max_tokens) retorna os turnos mantidos em ordem cronológica: cada system message, mais os turnos comuns mais recentes cujos tokens estimados (somados com a chars / 4 rule) cabem em max_tokens, descartando os mais antigos primeiro. Um histórico curto sob um Orçamento generoso é mantido inteiro.
Construa uma classe Conversation que guarde seus turnos em ordem em um atributo list turns (cada um é um {"role", "content"} dictionary; Conversation(system=...) armazena a mensagem do sistema como o primeiro turno): add(role, content) anexa um turno, e trimmed_context(max_tokens) mantém a(s) mensagem(ns) do sistema mais a execução unbroken run mais recente de turnos que cabe em um Orçamento chars/4 de tokens, retornada em ordem cronológica. Volte a partir do turno mais recente e pare no primeiro que não couber: nunca pule um turno e mantenha um mais antigo, porque uma conversa com um buraco no meio (uma resposta sem sua pergunta) confunde o modelo. Um histórico curto é mantido inteiro; um Orçamento apertado descarta o mais antigo mas mantém a mensagem do sistema e o turno mais recente (se nem o turno mais recente couber, apenas a mensagem do sistema sobra); a ordem permanece cronológica; a estimativa de tokens está correta.
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.