Caching prompt di sisi penyedia
Pelajaran terakhir melewatkan model saat permintaan berulang. Yang ini membuat permintaan itu sendiri jadi lebih murah. Kebanyakan penyedia menawarkan prompt caching: kamu menandai awalan stabil dari prompt kamu, dan pada panggilan berikutnya yang menggunakannya kembali, penyedia akan melewati pemrosesan ulang token tersebut dan menagihnya dengan diskon besar. Ini adalah tuas yang berbeda dari response cache yang baru saja kamu buat:
- Cache respons (pelajaran terakhir): seluruh jawaban digunakan kembali, jadi kamu melewati pemanggilan sepenuhnya. Hanya berfungsi saat pertanyaan berulang.
- Prompt cache (pelajaran ini): pemanggilan tetap terjadi dan kamu tetap dapat jawaban baru, tapi prefix yang dibagikan lebih murah. Berjalan bahkan saat setiap pertanyaan berbeda.
Apa yang masuk ke dalam prefix yang di-cache? Hal besar dan stabil yang ikut serta di setiap panggilan: prompt sistem yang panjang, definisi tool, contoh few-shot, dokumen yang diambil yang akan kamu tanyakan beberapa pertanyaan. Kamu masukkan bagian variabel (pertanyaan pengguna yang sebenarnya) setelah breakpoint yang di-cache. Dengan Anthropic kamu menandai batasnya dengan blok cache_control:
system=[{"type": "text", "text": LONG_SYSTEM_PROMPT,
"cache_control": {"type": "ephemeral"}}]Ekonomi memiliki tiga tarif, semuanya relatif terhadap harga input normal. Cache write (panggilan pertama, yang menyimpan prefix) memakan biaya sekitar 1.25x input. Cache read (panggilan berikutnya yang mengenai prefix yang tersimpan) memakan biaya sekitar 0.1x input. Miss hanyalah 1x. Entri bertahan selama beberapa menit dan timernya diperbarui pada setiap hit, jadi prefix yang sibuk tetap hangat. Tiga batasan praktis: prefix yang lebih pendek dari minimum model (beberapa ratus hingga beberapa ribu token, tergantung model) tidak disimpan di cache secara diam-diam; cache adalah pencocokan prefix, jadi mengubah byte mana pun di awal prompt (misalnya timestamp di system prompt) membatalkan semua yang ada setelahnya; dan setiap cache milik satu model, jadi mengganti model akan mulai dari awal. Periksa usage.cache_read_input_tokens pada respons untuk melihat apakah kamu benar-benar mendapatkan hit. Titik impasnya cepat: jika prefix besar digunakan kembali bahkan hanya beberapa kali, biaya write 1.25x satu kali menjadi tidak berarti dibandingkan membayar 0.1x alih-alih 1x pada setiap penggunaan ulang.
Kamu akan membangun model biaya yang menentukan apakah menyimpan prefix di cache akan menguntungkan.
Model ekonominya. Harga adalah dolar per 1.000.000 token; gunakan 3.0 untuk input dan 15.0 untuk output. (1) uncached_cost(prefix_tokens, variable_tokens, output_tokens, calls): setiap panggilan membayar harga input penuh pada prefix_tokens + variable_tokens ditambah harga output pada output_tokens, dikali calls. (2) cached_cost(prefix_tokens, variable_tokens, output_tokens, calls): prefix ditulis sekali pada harga input 1.25x, lalu dibaca pada sisa calls - 1 panggilan pada harga input 0.1x; variabel tokens selalu membayar harga input penuh, dan output selalu membayar harga output penuh pada setiap panggilan. Asumsikan calls >= 1. (3) caching_saves(prefix_tokens, variable_tokens, output_tokens, calls) mengembalikan True ketika cached_cost lebih kecil dari uncached_cost. Kembalikan float biasa (dolar).
Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini
Latihan ini akan segera dibuka
Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.
Browser ini memblokir cookie untuk learn.floati.life, jadi pelajaran yang sudah kamu selesaikan di sini tidak bisa dibuka berurutan. Izinkan cookie untuk situs ini dan muat ulang.