Presupuesto de la ventana de contexto
Todo modelo tiene una ventana de contexto finita: el máximo de tokens que puede leer en una llamada. Un historial de chat largo acaba desbordándola, y la llamada o da error o trunca en silencio. La solución de producción es un presupuestador que recorta la conversación antes de enviarla.
La política estándar es sencilla y está más que probada: conserva siempre el mensaje de sistema (lleva las instrucciones y la personalidad que nunca deben perderse), y luego descarta los turnos normales más antiguos uno a uno hasta que la estimación de tokens acumulada quepa en el presupuesto. Los turnos recientes son los que más importan para la coherencia, así que son los últimos en irse.
Los mensajes tienen el formato de chat conocido:
[
{"role": "system", "content": "You are a careful assistant."},
{"role": "user", "content": "What is the capital of France?"},
{"role": "assistant", "content": "The capital of France is Paris."},
{"role": "user", "content": "And of Spain?"}
]Ya tienes un estimador de tokens (caracteres/4) de la lección anterior; aquí se te da como estimate_tokens. Súmalo sobre el content de cada mensaje conservado para obtener el total acumulado.
Construye fit_to_budget(messages, max_tokens). Devuelve una lista nueva de mensajes, en el orden original, de modo que: los mensajes de sistema se conserven siempre; el total estimado de tokens de los mensajes conservados sea <= max_tokens siempre que se pueda descartar; y cuando haya que descartar, se descarten primero los mensajes que no son de sistema más antiguos. Un presupuesto generoso lo conserva todo. No modifiques la lista de entrada.
Escribe fit_to_budget(messages, max_tokens), que devuelva los mensajes conservados en el orden original. Conserva todos los mensajes de sistema. Descarta uno a uno los mensajes que no son de sistema más antiguos hasta que el recuento total estimado de tokens (sumando estimate_tokens sobre cada content) sea <= max_tokens. Un presupuesto generoso no descarta nada; dos presupuestos distintos deben conservar conjuntos distintos, y los turnos más recientes sobreviven frente a los más antiguos.
¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección
Este ejercicio se abre pronto
Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.
Este navegador está bloqueando las cookies de learn.floati.life, así que las lecciones que terminaste aquí no se pueden abrir en orden. Permite las cookies de este sitio y recarga.