Temario Lección 132 de 250 · Ingeniería de prompts para ingenieros de IA
Ingeniería de prompts para ingenieros de IA

Presupuesto de contexto y de tokens

Todo modelo tiene una ventana de contexto finita, y pagas por token. Cuando una conversación crece por encima del presupuesto, no puedes enviarla entera, así que decides qué conservar. La política estándar: conservar el prompt del sistema (fija las reglas) más los mensajes más recientes que todavía quepan, y descartar los más antiguos.

Vas a construir un presupuestador sencillo. Primero, un estimador aproximado de tokens: los tokenizadores reales dependen del modelo, pero una buena aproximación sin conexión es unos 4 caracteres por token. estimate_tokens(text) devuelve len(text) // 4 (y 0 para un texto vacío, al menos 1 para cualquier texto no vacío).

Luego fit_context(system, messages, budget) decide qué sobrevive:

  • El prompt del sistema se cuenta primero y siempre se conserva.
  • Recorre los mensajes del más nuevo al más antiguo, conservando cada uno cuyos tokens todavía quepan en el presupuesto; para cuando el siguiente lo desbordaría.
  • Devuelve {"kept": [...], "dropped": n, "tokens": total}, con kept devuelto al orden cronológico.
# three 10-token messages, budget 20, no system
fit_context("", [m1, m2, m3], 20)
# {"kept": [m2, m3], "dropped": 1, "tokens": 20}   # newest two survive

Las dos sutilezas que comprueba el corrector: un presupuesto más ajustado conserva menos mensajes (y los correctos), y un prompt del sistema no vacío se come parte del presupuesto, así que caben menos mensajes. Recorre al revés para elegir primero los más nuevos, y luego vuelve a dar la vuelta a la lista conservada para que la conversación se lea en orden. Pulsa Ejecutar para corregir.

Tu turno

Escribe estimate_tokens(text), que devuelve len(text) // 4 (0 si está vacío, al menos 1 si no). Escribe fit_context(system, messages, budget), que cuenta primero el sistema, conserva los mensajes más nuevos que quepan (recorriendo al revés) y devuelve {"kept", "dropped", "tokens"} con kept de vuelta en orden cronológico.

¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección

Este ejercicio se abre pronto

Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.