Silabus Pelajaran 132 dari 250 · Prompt Engineering untuk AI Engineers
Prompt Engineering untuk AI Engineers

Konteks & Anggaran Token

Setiap model punya context window yang terbatas, dan kamu bayar per token. Kalau percakapan melebihi budget, kamu tidak bisa mengirim semuanya, jadi kamu harus pilih mana yang mau disimpan. Kebijakan standarnya: simpan system prompt (ini yang mengatur aturan) ditambah most recent pesan yang masih muat, dan hapus yang paling lama.

Kamu akan membuat pengatur anggaran sederhana. Pertama, estimasi token kasar: tokenizer asli spesifik untuk model, tapi pendekatan offline yang solid adalah sekitar 4 karakter per token. estimate_tokens(text) mengembalikan len(text) // 4 (dan 0 untuk teks kosong, setidaknya 1 untuk teks apa pun yang tidak kosong).

Lalu fit_context(system, messages, budget) memutuskan apa yang bertahan:

  • Prompt sistem dihitung pertama dan selalu disimpan.
  • Jalankan pesan dari terbaru ke terlama, simpan setiap pesan yang tokennya masih muat dalam anggaran; berhenti saat pesan berikutnya akan meluap.
  • Kembalikan {"kept": [...], "dropped": n, "tokens": total} dengan kept yang dikembalikan ke urutan kronologis.
# three 10-token messages, budget 20, no system
fit_context("", [m1, m2, m3], 20)
# {"kept": [m2, m3], "dropped": 1, "tokens": 20}   # newest two survive

Dua hal halus yang diperiksa penilai: anggaran yang lebih ketat menjaga lebih sedikit (dan yang benar) pesan, dan system prompt yang tidak kosong memakan anggaran sehingga lebih sedikit pesan yang muat. Iterasi terbalik untuk memilih yang terbaru dulu, lalu balikkan kembali daftar yang disimpan agar percakapan terbaca berurutan. Tekan Run untuk menilai.

Giliranku

Tulis estimate_tokens(text) yang mengembalikan len(text) // 4 (0 untuk kosong, minimal 1 untuk tidak kosong). Tulis fit_context(system, messages, budget) yang menghitung sistem dulu, menyimpan pesan terbaru yang muat (iterasi terbalik), dan mengembalikan {"kept", "dropped", "tokens"} dengan kept kembali ke urutan kronologis.

Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini

Latihan ini akan segera dibuka

Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.