Temario Lección 178 de 250 · Llevar los LLM a producción: coste, caché y barreras
Llevar los LLM a producción: coste, caché y barreras

Contabilidad de tokens y coste

Una llamada a un modelo cuesta dinero de verdad, y la factura se mide en tokens, no en caracteres ni en palabras. Un token es más o menos un trozo de unos pocos caracteres. El recuento exacto sale del tokenizador del modelo, pero para presupuestos y paneles una buena regla aproximada es tokens ≈ characters / 4. Esa estimación se acerca lo bastante como para prever el gasto, fijar límites por petición y detectar un prompt que está a punto de reventar tu presupuesto.

Los proveedores ponen precios distintos a los tokens de entrada (prompt) y de salida (completado), normalmente expresados en dólares por cada 1.000.000 de tokens. La salida suele ser varias veces más cara que la entrada, así que el reparto importa. El coste de una llamada es:

cost = (prompt_tokens / 1_000_000) * in_rate
     + (completion_tokens / 1_000_000) * out_rate

En una aplicación real leerías el recuento verdadero de tokens directamente de la respuesta. Por ejemplo, un motor WebLLM en el dispositivo lo devuelve junto con la respuesta:

const reply = await engine.chat.completions.create({ messages });
const used = reply.usage.completion_tokens;  // exact count from the runtime

Esa llamada en vivo es solo ilustrativa. Aquí construyes la capa de contabilidad determinista que rodea a cualquier modelo: un estimador de tokens y una función de coste sobre una tabla de precios. Son las dos funciones de las que está hecho cualquier panel de costes.

Construye dos funciones. estimate_tokens(text) devuelve una estimación entera de tokens usando la regla de caracteres/4 (usa división entera, para que "" -> 0). estimate_cost(prompt_tokens, completion_tokens, in_rate, out_rate) devuelve el coste en dólares con la fórmula de arriba, donde las tarifas son dólares por cada 1.000.000 de tokens. Mantén las dos puras y sin efectos secundarios.

Tu turno

Escribe estimate_tokens(text), que devuelva una estimación entera de tokens (aproximadamente len(text) // 4, así una cadena vacía da 0), y estimate_cost(prompt_tokens, completion_tokens, in_rate, out_rate), que devuelva el coste en dólares, donde in_rate y out_rate son precios por cada 1.000.000 de tokens. El más largo de dos textos nunca debe estimar menos tokens, y cambiar una llamada cargada de prompt por otra cargada de completado debe cambiar el coste cuando las dos tarifas difieren.

¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección

Este ejercicio se abre pronto

Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.