Konteks & Anggaran Token
Setiap model punya context window yang terbatas, dan kamu bayar per token. Kalau percakapan melebihi budget, kamu tidak bisa mengirim semuanya, jadi kamu harus pilih mana yang mau disimpan. Kebijakan standarnya: simpan system prompt (ini yang mengatur aturan) ditambah most recent pesan yang masih muat, dan hapus yang paling lama.
Kamu akan membuat pengatur anggaran sederhana. Pertama, estimasi token kasar: tokenizer asli spesifik untuk model, tapi pendekatan offline yang solid adalah sekitar 4 karakter per token. estimate_tokens(text) mengembalikan len(text) // 4 (dan 0 untuk teks kosong, setidaknya 1 untuk teks apa pun yang tidak kosong).
Lalu fit_context(system, messages, budget) memutuskan apa yang bertahan:
- Prompt sistem dihitung pertama dan selalu disimpan.
- Jalankan pesan dari terbaru ke terlama, simpan setiap pesan yang tokennya masih muat dalam anggaran; berhenti saat pesan berikutnya akan meluap.
- Kembalikan
{"kept": [...], "dropped": n, "tokens": total}dengankeptyang dikembalikan ke urutan kronologis.
# three 10-token messages, budget 20, no system
fit_context("", [m1, m2, m3], 20)
# {"kept": [m2, m3], "dropped": 1, "tokens": 20} # newest two surviveDua hal halus yang diperiksa penilai: anggaran yang lebih ketat menjaga lebih sedikit (dan yang benar) pesan, dan system prompt yang tidak kosong memakan anggaran sehingga lebih sedikit pesan yang muat. Iterasi terbalik untuk memilih yang terbaru dulu, lalu balikkan kembali daftar yang disimpan agar percakapan terbaca berurutan. Tekan Run untuk menilai.
Tulis estimate_tokens(text) yang mengembalikan len(text) // 4 (0 untuk kosong, minimal 1 untuk tidak kosong). Tulis fit_context(system, messages, budget) yang menghitung sistem dulu, menyimpan pesan terbaru yang muat (iterasi terbalik), dan mengembalikan {"kept", "dropped", "tokens"} dengan kept kembali ke urutan kronologis.
Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini
Latihan ini akan segera dibuka
Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.
Browser ini memblokir cookie untuk learn.floati.life, jadi pelajaran yang sudah kamu selesaikan di sini tidak bisa dibuka berurutan. Izinkan cookie untuk situs ini dan muat ulang.