Contabilità di token e costi
Una chiamata a un modello costa soldi veri, e la bolletta si misura in token, non in caratteri o parole. Un token è più o meno un pezzo di qualche carattere. Il conteggio esatto viene dal tokenizer del modello, ma per i budget e le dashboard una buona regola pratica è tokens ≈ characters / 4. Quella stima basta per prevedere la spesa, fissare limiti per richiesta, e accorgersi di un prompt che sta per far saltare il tuo budget.
I fornitori prezzano in modo diverso i token di input (prompt) e quelli di output (completamento), di solito indicati in dollari per 1.000.000 di token. L'output spesso costa diverse volte più dell'input, quindi la divisione conta. Il costo di una chiamata è:
cost = (prompt_tokens / 1_000_000) * in_rate
+ (completion_tokens / 1_000_000) * out_rateIn un'app vera leggeresti il conteggio vero dei token direttamente dalla risposta. Per esempio, un motore WebLLM sul dispositivo lo restituisce insieme alla risposta:
const reply = await engine.chat.completions.create({ messages });
const used = reply.usage.completion_tokens; // exact count from the runtimeQuella chiamata dal vivo è solo illustrativa. Qui costruisci lo strato di contabilità deterministico che sta intorno a qualsiasi modello: uno stimatore di token e una funzione di costo su una tabella di prezzi. Sono le due funzioni di cui è fatta ogni dashboard dei costi.
Costruisci due funzioni. estimate_tokens(text) restituisce una stima intera dei token usando la regola caratteri/4 (usa la divisione intera, così "" -> 0). estimate_cost(prompt_tokens, completion_tokens, in_rate, out_rate) restituisce il costo in dollari usando la formula qui sopra, dove le tariffe sono dollari per 1.000.000 di token. Tienile entrambe pure e senza effetti collaterali.
Scrivi estimate_tokens(text) che restituisce una stima intera dei token (circa len(text) // 4, quindi una stringa vuota vale 0) ed estimate_cost(prompt_tokens, completion_tokens, in_rate, out_rate) che restituisce il costo in dollari, dove in_rate e out_rate sono prezzi per 1.000.000 di token. Il più lungo di due testi non deve mai stimare meno token, e scambiare una chiamata pesante sul prompt con una pesante sul completamento deve cambiare il costo quando le due tariffe sono diverse.
Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione
Questo esercizio si apre presto
Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.
Questo browser blocca i cookie per learn.floati.life, quindi le lezioni che hai finito qui non si possono aprire in ordine. Consenti i cookie per questo sito e ricarica.