Silabus Pelajaran 178 dari 250 · Memproduksi LLM: Biaya, Caching & Guardrails
Memproduksi LLM: Biaya, Caching & Guardrails

Akuntansi Token & Biaya

A pemanggilan model memakan biaya asli, dan tagihannya diukur dalam tokens, bukan karakter atau kata. Token kira-kira adalah potongan beberapa karakter. Jumlah pastinya berasal dari tokenizer model, tapi untuk anggaran dan dasbor aturan praktis yang bagus adalah tokens ≈ characters / 4. Estimasi itu cukup dekat untuk memprediksi pengeluaran, mengatur batas per permintaan, dan mendeteksi prompt yang akan menghabiskan anggaranmu.

Providers mematok harga input (prompt) tokens dan output (completion) tokens dengan tarif berbeda, biasanya dikutip dalam dolar per 1,000,000 tokens. Output seringkali jauh lebih mahal daripada input, jadi pembagiannya penting. Biaya satu kali call adalah:

cost = (prompt_tokens / 1_000_000) * in_rate
     + (completion_tokens / 1_000_000) * out_rate

Di aplikasi nyata, kamu akan membaca jumlah token yang sebenarnya langsung dari respons. Contohnya, mesin WebLLM di perangkat akan mengembalikannya bersama balasan:

const reply = await engine.chat.completions.create({ messages });
const used = reply.usage.completion_tokens;  // exact count from the runtime

Panggilan langsung itu hanya ilustrasi. Di sini kamu membangun lapisan akuntansi deterministik yang mengelilingi model apa pun: sebuah estimator dan fungsi cost di atas tabel harga. Ini adalah dua fungsi yang membentuk setiap dasbor biaya.

Buat dua fungsi. estimate_tokens(text) mengembalikan estimasi token integer menggunakan aturan chars/4 (gunakan pembagian integer, jadi "" -> 0). estimate_cost(prompt_tokens, completion_tokens, in_rate, out_rate) mengembalikan biaya dolar menggunakan rumus di atas, di mana tarifnya adalah dolar per 1.000.000 token. Pastikan keduanya murni dan bebas side-effect.

Giliranku

Tulis estimate_tokens(text) yang mengembalikan estimasi token integer (sekitar len(text) // 4, jadi string kosong adalah 0) dan estimate_cost(prompt_tokens, completion_tokens, in_rate, out_rate) yang mengembalikan biaya dolar, di mana in_rate dan out_rate adalah harga per 1.000.000 token. Teks yang lebih panjang tidak boleh mengestimasi token yang lebih sedikit, dan menukar panggilan yang berat prompt dengan yang berat completion harus mengubah biaya saat kedua tarif berbeda.

Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini

Latihan ini akan segera dibuka

Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.