Pengatur Anggaran Context-Window
Setiap model punya context window yang terbatas: jumlah maksimal token yang bisa dibaca dalam satu call. Riwayat chat yang panjang lama-lama akan meluap, dan call tersebut akan error atau terpotong secara diam-diam. Solusi produksinya adalah budgeter yang memotong percakapan sebelum kamu mengirimnya.
Kebijakan standarnya sederhana dan sudah teruji: selalu simpan system message (ini membawa instruksi dan persona yang tidak boleh dibuang), lalu buang terlama turn biasa satu per satu sampai estimasi token yang berjalan sesuai anggaran. Turn terbaru paling penting untuk koherensi, jadi itu yang terakhir dibuang.
Pesan terlihat seperti format chat yang biasa:
[
{"role": "system", "content": "You are a careful assistant."},
{"role": "user", "content": "What is the capital of France?"},
{"role": "assistant", "content": "The capital of France is Paris."},
{"role": "user", "content": "And of Spain?"}
]Kamu sudah punya estimator token (chars/4) dari pelajaran sebelumnya; itu sudah disediakan di sini sebagai estimate_tokens. Jumlahkan itu di atas content dari setiap pesan yang disimpan untuk mendapatkan total berjalan.
Buat fit_to_budget(messages, max_tokens). Kembalikan daftar pesan baru, dalam urutan asli, sedemikian hingga: pesan sistem selalu tetap ada; total estimasi token dari pesan yang disimpan <= max_tokens kapan pun penghapusan memungkinkan; dan saat kamu harus menghapus, hapus pesan non-sistem terlama terlebih dahulu. Anggaran yang besar akan menyimpan semuanya. Jangan ubah daftar input.
Tulis fit_to_budget(messages, max_tokens) yang mengembalikan pesan yang disimpan dalam urutan asli. Simpan setiap pesan sistem. Buang pesan non-sistem tertua satu per satu sampai total estimasi token (jumlah estimate_tokens di setiap content) adalah <= max_tokens. Anggaran yang besar tidak membuang apa pun; dua anggaran berbeda harus menyimpan set yang berbeda, dan giliran terbaru bertahan dibandingkan yang lebih lama.
Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini
Latihan ini akan segera dibuka
Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.
Browser ini memblokir cookie untuk learn.floati.life, jadi pelajaran yang sudah kamu selesaikan di sini tidak bisa dibuka berurutan. Izinkan cookie untuk situs ini dan muat ulang.