Comptabilité des tokens et des coûts
Un appel au modèle coûte du vrai argent, et la facture se mesure en tokens, pas en caractères ni en mots. Un token est à peu près un morceau de quelques caractères. Le compte exact vient du tokenizer du modèle, mais pour les budgets et les tableaux de bord, une bonne règle est tokens ≈ characters / 4 (caractères / 4). Cette estimation est assez proche pour prévoir les dépenses, fixer des limites par requête et repérer un prompt sur le point de faire exploser ton budget.
Les fournisseurs facturent les tokens d'entrée (le prompt) et de sortie (la complétion) à des tarifs différents, en général exprimés en dollars par million de tokens. La sortie coûte souvent plusieurs fois plus cher que l'entrée, donc la répartition compte. Le coût d'un appel est :
cost = (prompt_tokens / 1_000_000) * in_rate
+ (completion_tokens / 1_000_000) * out_rateDans une vraie appli, tu lirais le vrai nombre de tokens directement dans la réponse. Par exemple, un moteur WebLLM sur l'appareil le renvoie avec la réponse :
const reply = await engine.chat.completions.create({ messages });
const used = reply.usage.completion_tokens; // exact count from the runtimeCet appel en direct n'est là que pour illustrer. Ici, tu construis la couche de comptabilité déterministe qui entoure n'importe quel modèle : un estimateur de tokens et une fonction de coût sur une grille tarifaire. Ce sont les deux fonctions dont est fait tout tableau de bord des coûts.
Construis deux fonctions. estimate_tokens(text) renvoie une estimation entière des tokens avec la règle chars/4 (utilise la division entière, donc "" -> 0). estimate_cost(prompt_tokens, completion_tokens, in_rate, out_rate) renvoie le coût en dollars avec la formule ci-dessus, où les tarifs sont en dollars par million de tokens. Garde les deux pures et sans effet de bord.
Écris estimate_tokens(text) qui renvoie une estimation entière des tokens (environ len(text) // 4, donc une chaîne vide vaut 0) et estimate_cost(prompt_tokens, completion_tokens, in_rate, out_rate) qui renvoie le coût en dollars, où in_rate et out_rate sont des prix par million de tokens. Le plus long de deux textes ne doit jamais estimer moins de tokens, et remplacer un appel riche en prompt par un appel riche en complétion doit changer le coût quand les deux tarifs diffèrent.
Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon
Cet exercice s'ouvre bientôt
Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.
Ce navigateur bloque les cookies pour learn.floati.life, donc les leçons que tu as terminées ici ne peuvent pas s'ouvrir dans l'ordre. Autorise les cookies pour ce site et recharge la page.