Presupuesto de contexto y de tokens
Todo modelo tiene una ventana de contexto finita, y pagas por token. Cuando una conversación crece por encima del presupuesto, no puedes enviarla entera, así que decides qué conservar. La política estándar: conservar el prompt del sistema (fija las reglas) más los mensajes más recientes que todavía quepan, y descartar los más antiguos.
Vas a construir un presupuestador sencillo. Primero, un estimador aproximado de tokens: los tokenizadores reales dependen del modelo, pero una buena aproximación sin conexión es unos 4 caracteres por token. estimate_tokens(text) devuelve len(text) // 4 (y 0 para un texto vacío, al menos 1 para cualquier texto no vacío).
Luego fit_context(system, messages, budget) decide qué sobrevive:
- El prompt del sistema se cuenta primero y siempre se conserva.
- Recorre los mensajes del más nuevo al más antiguo, conservando cada uno cuyos tokens todavía quepan en el presupuesto; para cuando el siguiente lo desbordaría.
- Devuelve
{"kept": [...], "dropped": n, "tokens": total}, conkeptdevuelto al orden cronológico.
# three 10-token messages, budget 20, no system
fit_context("", [m1, m2, m3], 20)
# {"kept": [m2, m3], "dropped": 1, "tokens": 20} # newest two surviveLas dos sutilezas que comprueba el corrector: un presupuesto más ajustado conserva menos mensajes (y los correctos), y un prompt del sistema no vacío se come parte del presupuesto, así que caben menos mensajes. Recorre al revés para elegir primero los más nuevos, y luego vuelve a dar la vuelta a la lista conservada para que la conversación se lea en orden. Pulsa Ejecutar para corregir.
Escribe estimate_tokens(text), que devuelve len(text) // 4 (0 si está vacío, al menos 1 si no). Escribe fit_context(system, messages, budget), que cuenta primero el sistema, conserva los mensajes más nuevos que quepan (recorriendo al revés) y devuelve {"kept", "dropped", "tokens"} con kept de vuelta en orden cronológico.
¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección
Este ejercicio se abre pronto
Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.
Este navegador está bloqueando las cookies de learn.floati.life, así que las lecciones que terminaste aquí no se pueden abrir en orden. Permite las cookies de este sitio y recarga.