Contabilidad de tokens y coste
Una llamada a un modelo cuesta dinero de verdad, y la factura se mide en tokens, no en caracteres ni en palabras. Un token es más o menos un trozo de unos pocos caracteres. El recuento exacto sale del tokenizador del modelo, pero para presupuestos y paneles una buena regla aproximada es tokens ≈ characters / 4. Esa estimación se acerca lo bastante como para prever el gasto, fijar límites por petición y detectar un prompt que está a punto de reventar tu presupuesto.
Los proveedores ponen precios distintos a los tokens de entrada (prompt) y de salida (completado), normalmente expresados en dólares por cada 1.000.000 de tokens. La salida suele ser varias veces más cara que la entrada, así que el reparto importa. El coste de una llamada es:
cost = (prompt_tokens / 1_000_000) * in_rate
+ (completion_tokens / 1_000_000) * out_rateEn una aplicación real leerías el recuento verdadero de tokens directamente de la respuesta. Por ejemplo, un motor WebLLM en el dispositivo lo devuelve junto con la respuesta:
const reply = await engine.chat.completions.create({ messages });
const used = reply.usage.completion_tokens; // exact count from the runtimeEsa llamada en vivo es solo ilustrativa. Aquí construyes la capa de contabilidad determinista que rodea a cualquier modelo: un estimador de tokens y una función de coste sobre una tabla de precios. Son las dos funciones de las que está hecho cualquier panel de costes.
Construye dos funciones. estimate_tokens(text) devuelve una estimación entera de tokens usando la regla de caracteres/4 (usa división entera, para que "" -> 0). estimate_cost(prompt_tokens, completion_tokens, in_rate, out_rate) devuelve el coste en dólares con la fórmula de arriba, donde las tarifas son dólares por cada 1.000.000 de tokens. Mantén las dos puras y sin efectos secundarios.
Escribe estimate_tokens(text), que devuelva una estimación entera de tokens (aproximadamente len(text) // 4, así una cadena vacía da 0), y estimate_cost(prompt_tokens, completion_tokens, in_rate, out_rate), que devuelva el coste en dólares, donde in_rate y out_rate son precios por cada 1.000.000 de tokens. El más largo de dos textos nunca debe estimar menos tokens, y cambiar una llamada cargada de prompt por otra cargada de completado debe cambiar el coste cuando las dos tarifas difieren.
¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección
Este ejercicio se abre pronto
Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.
Este navegador está bloqueando las cookies de learn.floati.life, así que las lecciones que terminaste aquí no se pueden abrir en orden. Permite las cookies de este sitio y recarga.