Temario Lección 181 de 250 · Llevar los LLM a producción: coste, caché y barreras
Llevar los LLM a producción: coste, caché y barreras

Caché de prompts en el lado del proveedor

La lección anterior se saltaba el modelo cuando una petición se repetía. Esta abarata la propia petición. La mayoría de los proveedores ofrecen caché de prompts: marcas un prefijo estable de tu prompt y, en la siguiente llamada que lo reutilice, el proveedor se salta volver a procesar esos tokens y los factura con un fuerte descuento. Es una palanca distinta de la caché de respuestas que acabas de construir:

  • Caché de respuestas (lección anterior): se reutiliza la respuesta entera, así que te saltas la llamada por completo. Solo funciona cuando se repite la pregunta.
  • Caché de prompts (esta lección): la llamada sigue ocurriendo y sigues obteniendo una respuesta nueva, pero el prefijo compartido sale más barato. Funciona aunque cada pregunta sea distinta.

¿Qué va en el prefijo en caché? Lo grande y estable que viaja en cada llamada: un prompt de sistema largo, definiciones de herramientas, ejemplos few-shot, un documento recuperado sobre el que vas a hacer varias preguntas. La parte variable (la pregunta real del usuario) va después del punto de corte de la caché. Con Anthropic marcas el límite con un bloque cache_control:

system=[{"type": "text", "text": LONG_SYSTEM_PROMPT,
         "cache_control": {"type": "ephemeral"}}]

La economía tiene tres tarifas, todas relativas al precio normal de entrada. Una escritura en caché (la primera llamada, que guarda el prefijo) cuesta unas 1.25x la entrada. Una lectura de caché (una llamada posterior que acierta con el prefijo guardado) cuesta unas 0.1x la entrada. Un fallo es simplemente 1x. La entrada dura unos minutos y su temporizador se renueva con cada acierto, así que un prefijo muy usado se mantiene caliente. Tres límites prácticos: un prefijo más corto que el mínimo del modelo (de unos cientos a unos miles de tokens, según el modelo) no se guarda en caché, sin avisar; la caché es una coincidencia de prefijo, así que cambiar cualquier byte al principio del prompt (una marca de tiempo en el prompt de sistema, por ejemplo) invalida todo lo que viene después; y cada caché pertenece a un modelo, así que cambiar de modelo empieza en frío. Mira usage.cache_read_input_tokens en la respuesta para ver si de verdad hubo aciertos. El punto de equilibrio llega pronto: si un prefijo grande se reutiliza aunque sea unas pocas veces, la escritura única a 1.25x queda empequeñecida por pagar 0.1x en lugar de 1x en cada reutilización.

Construirás el modelo de costes que decide si guardar un prefijo en caché compensa.

Tu turno

Modela la economía. Los precios son dólares por cada 1.000.000 de tokens; usa 3.0 para la entrada y 15.0 para la salida. (1) uncached_cost(prefix_tokens, variable_tokens, output_tokens, calls): cada llamada paga el precio completo de entrada sobre prefix_tokens + variable_tokens más el precio de salida sobre output_tokens, por calls. (2) cached_cost(prefix_tokens, variable_tokens, output_tokens, calls): el prefijo se escribe una vez a 1.25x el precio de entrada y luego se lee en las calls - 1 llamadas restantes a 0.1x el precio de entrada; los tokens variables siempre pagan el precio completo de entrada, y la salida siempre paga el precio completo de salida en cada llamada. Supón calls >= 1. (3) caching_saves(prefix_tokens, variable_tokens, output_tokens, calls) devuelve True cuando cached_cost es estrictamente menor que uncached_cost. Devuelve floats simples (dólares).

¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección

Este ejercicio se abre pronto

Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.