Conteúdo do curso Lição 189 de 250 · Padrões de Produção: Retries, Async, Streaming e Memória
Padrões de Produção: Retries, Async, Streaming e Memória

Memória de Conversa de Múltiplos Turnos

O chatbot

A não tem memória própria -> o modelo vê apenas o que você envia a cada chamada. Para manter uma conversa, você repete o histórico: a system message mais as trocas de mensagens até agora. Mas o histórico cresce sem limites e a context window não, então você precisa de uma memory que mantém a conversa e a corta para caber antes de cada chamada.

A política é aquela em que os sistemas de produção convergem. Sempre mantenha a system message -> ela carrega as instruções e a persona que nunca devem ser perdidas. Depois, mantenha o máximo de turnos mais recentes que couberem no orçamento, descartando primeiro os turnos comuns mais antigos, porque o contexto recente importa mais para uma resposta coerente. Orçamentos de tokens usam a estimativa familiar chars / 4.

convo = Conversation(system="You are a careful assistant.")
convo.add("user", "Tell me about Rome.")
convo.add("assistant", "Rome is the capital of Italy.")
context = convo.trimmed_context(max_tokens=64)   # what you actually send

Este é exatamente o objeto que fica à frente de qualquer modelo de chat, incluindo um motor WebLLM no dispositivo: você acumula turnos e depois passa trimmed_context(...) como as mensagens para a próxima chamada. Nenhum modelo roda aqui -> a lógica de corte é determinística e avaliada diretamente.

Construa uma classe Conversation.O construtor recebe uma system message opcional (fixada, nunca descartada). add(role, content) anexa um turno. trimmed_context(max_tokens) retorna os turnos mantidos em ordem cronológica: cada system message, mais os turnos comuns mais recentes cujos tokens estimados (somados com a chars / 4 rule) cabem em max_tokens, descartando os mais antigos primeiro. Um histórico curto sob um Orçamento generoso é mantido inteiro.

Sua vez

Construa uma classe Conversation que guarde seus turnos em ordem em um atributo list turns (cada um é um {"role", "content"} dictionary; Conversation(system=...) armazena a mensagem do sistema como o primeiro turno): add(role, content) anexa um turno, e trimmed_context(max_tokens) mantém a(s) mensagem(ns) do sistema mais a execução unbroken run mais recente de turnos que cabe em um Orçamento chars/4 de tokens, retornada em ordem cronológica. Volte a partir do turno mais recente e pare no primeiro que não couber: nunca pule um turno e mantenha um mais antigo, porque uma conversa com um buraco no meio (uma resposta sem sua pergunta) confunde o modelo. Um histórico curto é mantido inteiro; um Orçamento apertado descarta o mais antigo mas mantém a mensagem do sistema e o turno mais recente (se nem o turno mais recente couber, apenas a mensagem do sistema sobra); a ordem permanece cronológica; a estimativa de tokens está correta.

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.