Token & Kostenboekhouding
A model call kosten echt geld, en de rekening wordt gemeten in tokens, niet in karakters of woorden. Een token is ongeveer een stuk van een paar karakters. Het exacte aantal komt van de tokenizer van het model, maar voor budgettering en dashboards is tokens ≈ characters / 4 een goede vuistregel. Die schatting is dichtbij genoeg om uitgaven te voorspellen, limieten per aanvraag in te stellen, en een prompt te zien die je budget bijna gaat overschrijden.
Providers prijzen input (prompt) tokens en output (completion) tokens tegen verschillende tarieven, meestal aangegeven in dollars per 1.000.000 tokens. Output is vaak vele malen duurder dan input, dus de verdeling is belangrijk. De kosten van één call zijn:
cost = (prompt_tokens / 1_000_000) * in_rate
+ (completion_tokens / 1_000_000) * out_rateIn een echte app zou je het ware tokenaantal rechtstreeks uit de response lezen. Bijvoorbeeld, een on-device WebLLM engine geeft het terug met de reply:
const reply = await engine.chat.completions.create({ messages });
const used = reply.usage.completion_tokens; // exact count from the runtimeDie live call is alleen illustratief. Hier bouw je de deterministische boekhoudlaag die rond elk model zit: een token estimator en een cost functie over een prijstabel. Dit zijn de twee functies waaruit elk kostendashboard bestaat.
Bouw twee functies. estimate_tokens(text) geeft een integer token schatting terug met de chars/4 regel (gebruik integer deling, dus "" -> 0). estimate_cost(prompt_tokens, completion_tokens, in_rate, out_rate) geeft de dollar kosten terug met de formule hierboven, waarbij de tarieven dollars per 1.000.000 tokens zijn. Houd beide puur en vrij van bijwerkingen.
Schrijf estimate_tokens(text) dat een integer token schatting teruggeeft (ongeveer len(text) // 4, dus een lege string is 0) en estimate_cost(prompt_tokens, completion_tokens, in_rate, out_rate) dat de dollar kosten teruggeeft, waarbij in_rate en out_rate prijzen per 1.000.000 tokens zijn. De langere van de twee teksten mag nooit minder tokens schatten, en het vervangen van een prompt-zware aanroep door een completion-zware moet de kosten veranderen wanneer de twee tarieven verschillen.
Een probleem ontdekt in deze les? Meld het · Vraag naar deze les
Deze oefening opent binnenkort
Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.
Deze browser blokkeert cookies voor learn.floati.life, dus lessen die je hier hebt afgerond kunnen niet in de juiste volgorde worden geopend. Sta cookies toe voor deze site en laad de pagina opnieuw.