Memoria de conversación de varios turnos
Un chatbot no tiene memoria propia -> el modelo solo ve lo que le envías en cada llamada. Para mantener una conversación vuelves a reproducir el historial: el mensaje de sistema más los turnos de ida y vuelta hasta ahora. Pero el historial crece sin límite y la ventana de contexto no, así que necesitas una memoria que guarde la conversación y la recorte para que quepa antes de cada llamada.
La política es aquella en la que acaban convergiendo los sistemas de producción. Conserva siempre el mensaje de sistema -> lleva las instrucciones y la personalidad que nunca deben perderse. Luego conserva tantos turnos más recientes como quepan en el presupuesto, descartando primero los turnos normales más antiguos, porque el contexto reciente es el que más importa para una respuesta coherente. Los presupuestos de tokens usan la conocida estimación chars / 4.
convo = Conversation(system="You are a careful assistant.")
convo.add("user", "Tell me about Rome.")
convo.add("assistant", "Rome is the capital of Italy.")
context = convo.trimmed_context(max_tokens=64) # what you actually sendEste es exactamente el objeto que se sitúa delante de cualquier modelo de chat, incluido un motor WebLLM en el dispositivo: acumulas turnos y luego pasas trimmed_context(...) como los mensajes de la siguiente llamada. Aquí no se ejecuta ningún modelo -> la lógica de recorte es determinista y se evalúa directamente.
Construye una clase Conversation. El constructor recibe un mensaje system opcional (fijado, nunca se descarta). add(role, content) añade un turno. trimmed_context(max_tokens) devuelve los turnos conservados en orden cronológico: todos los mensajes de sistema, más los turnos normales más recientes cuyos tokens estimados (sumados con la regla chars / 4) quepan en max_tokens, descartando primero los más antiguos. Un historial corto con un presupuesto generoso se conserva entero.
Construye una clase Conversation que guarde sus turnos en orden en un atributo de lista turns (cada uno un dict {"role", "content"}; Conversation(system=...) guarda el mensaje de sistema como primer turno): add(role, content) añade un turno, y trimmed_context(max_tokens) conserva los mensajes de sistema más la serie ininterrumpida de turnos más nuevos que quepa en un presupuesto de tokens de chars/4, devueltos en orden cronológico. Recorre hacia atrás desde el turno más nuevo y para en el primero que no quepa: nunca te saltes un turno para conservar uno más antiguo, porque una conversación con un hueco en medio (una respuesta sin su pregunta) confunde al modelo. Un historial corto se conserva entero; un presupuesto ajustado descarta los más antiguos pero conserva el mensaje de sistema y el turno más nuevo (si ni siquiera el turno más nuevo cabe, solo queda el mensaje de sistema); el orden sigue siendo cronológico; la estimación de tokens es correcta.
¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección
Este ejercicio se abre pronto
Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.
Este navegador está bloqueando las cookies de learn.floati.life, así que las lecciones que terminaste aquí no se pueden abrir en orden. Permite las cookies de este sitio y recarga.