Kurrikulum Leson 178 van 250 · Produksie van LLMs: Kostes, Keshing en Bewaakhekings
Produksie van LLMs: Kostes, Keshing en Bewaakhekings

Token- en kosteberekening

A model-oproepe kos regte geld, en die rekening word in tokens gemeet, nie karakters of woorde nie. 'n Token is ongeveer 'n stukkie van 'n paar karakters. Die presiese telling kom van die model se tokenizer, maar vir begroting en dashboards is 'n goeie reël van die duim tokens ≈ characters / 4. Daardie skatting is naby genoeg om uitgawes te voorspel, per-aanvraag limiete te stel, en 'n prompt te sien wat jou begroting gaan oorskry.

Providers vra vir input (prompt) tokens en output (completion) tokens teen verskillende tariewe, gewoonlik kwoteer in dollars per 1,000,000 tokens. Output is dikwels verskeie kere duurder as input, so die verdeling saak maak. Die koste van een call is:

cost = (prompt_tokens / 1_000_000) * in_rate
     + (completion_tokens / 1_000_000) * out_rate

In 'n regte toepassing sou jy die ware token-telling direk van die response lees. Byvoorbeeld, 'n on-device WebLLM engine gee dit saam met die reply terug:

const reply = await engine.chat.completions.create({ messages });
const used = reply.usage.completion_tokens;  // exact count from the runtime

Da live oproep is slegs illustratief. Hier bou jy die deterministiese rekeninglaag wat rondom enige model sit: 'n token estimator en 'n cost funksie oor 'n prys tabel. Dit is die twee funksies waaruit elke kostebordel bestaan.

Bou twee funksies. estimate_tokens(text) gee 'n integer token-skatting met die chars/4-reël (gebruik heelgetaldeling, so "" -> 0). estimate_cost(prompt_tokens, completion_tokens, in_rate, out_rate) gee die dollar-koste met die formule hierbo, waar die koerse dollars per 1,000,000 tokens is. Hou albei suiwer en sonder sy-effekte.

Jou beurt

Skryf estimate_tokens(text) wat 'n integer token-skatting teruggee (ongeveer len(text) // 4, so 'n leë string is 0) en estimate_cost(prompt_tokens, completion_tokens, in_rate, out_rate) wat die dollar-koste teruggee, waar in_rate en out_rate pryse per 1,000,000 tokens is. Die langer van twee tekste moet nooit minder tokens skat nie, en om 'n prompt-swaar oproep vir 'n voltooiing-swaar een te ruil moet die koste verander wanneer die twee koerse verskil.

Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les

Hierdie oefening open binnekort

Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.