Programma Lezione 178 di 250 · Portare gli LLM in produzione: costi, cache e protezioni
Portare gli LLM in produzione: costi, cache e protezioni

Contabilità di token e costi

Una chiamata a un modello costa soldi veri, e la bolletta si misura in token, non in caratteri o parole. Un token è più o meno un pezzo di qualche carattere. Il conteggio esatto viene dal tokenizer del modello, ma per i budget e le dashboard una buona regola pratica è tokens ≈ characters / 4. Quella stima basta per prevedere la spesa, fissare limiti per richiesta, e accorgersi di un prompt che sta per far saltare il tuo budget.

I fornitori prezzano in modo diverso i token di input (prompt) e quelli di output (completamento), di solito indicati in dollari per 1.000.000 di token. L'output spesso costa diverse volte più dell'input, quindi la divisione conta. Il costo di una chiamata è:

cost = (prompt_tokens / 1_000_000) * in_rate
     + (completion_tokens / 1_000_000) * out_rate

In un'app vera leggeresti il conteggio vero dei token direttamente dalla risposta. Per esempio, un motore WebLLM sul dispositivo lo restituisce insieme alla risposta:

const reply = await engine.chat.completions.create({ messages });
const used = reply.usage.completion_tokens;  // exact count from the runtime

Quella chiamata dal vivo è solo illustrativa. Qui costruisci lo strato di contabilità deterministico che sta intorno a qualsiasi modello: uno stimatore di token e una funzione di costo su una tabella di prezzi. Sono le due funzioni di cui è fatta ogni dashboard dei costi.

Costruisci due funzioni. estimate_tokens(text) restituisce una stima intera dei token usando la regola caratteri/4 (usa la divisione intera, così "" -> 0). estimate_cost(prompt_tokens, completion_tokens, in_rate, out_rate) restituisce il costo in dollari usando la formula qui sopra, dove le tariffe sono dollari per 1.000.000 di token. Tienile entrambe pure e senza effetti collaterali.

Tocca a te

Scrivi estimate_tokens(text) che restituisce una stima intera dei token (circa len(text) // 4, quindi una stringa vuota vale 0) ed estimate_cost(prompt_tokens, completion_tokens, in_rate, out_rate) che restituisce il costo in dollari, dove in_rate e out_rate sono prezzi per 1.000.000 di token. Il più lungo di due testi non deve mai stimare meno token, e scambiare una chiamata pesante sul prompt con una pesante sul completamento deve cambiare il costo quando le due tariffe sono diverse.

Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione

Questo esercizio si apre presto

Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.