Silabus Pelajaran 189 dari 250 · Pola Produksi: Retries, Async, Streaming & Memory
Pola Produksi: Retries, Async, Streaming & Memory

Memori Percakapan Multi-Turn

Chatbot

A tidak punya memori sendiri -> model hanya melihat apa yang kamu kirim setiap kali panggil. Untuk menjaga percakapan kamu memutar ulang riwayatnya: pesan sistem ditambah giliran tanya jawab sejauh ini. Tapi riwayat terus bertambah tanpa batas dan jendela konteks tidak, jadi kamu butuh memory yang menyimpan percakapan dan memotongnya agar muat sebelum setiap panggil.

Kebijakannya adalah yang digunakan sistem produksi. Selalu simpan pesan sistem -> ini membawa instruksi dan persona yang tidak boleh hilang. Lalu simpan sebanyak mungkin giliran paling-baru yang sesuai anggaran, hapus giliran biasa yang paling-tua terlebih dahulu, karena konteks terbaru paling penting untuk jawaban yang koheren. Anggaran token menggunakan estimasi yang sudah dikenal chars / 4.

convo = Conversation(system="You are a careful assistant.")
convo.add("user", "Tell me about Rome.")
convo.add("assistant", "Rome is the capital of Italy.")
context = convo.trimmed_context(max_tokens=64)   # what you actually send

Ini adalah objek yang tepat yang ada di depan model chat apa pun, termasuk mesin WebLLM di perangkat: kamu mengumpulkan turn, lalu mengirim trimmed_context(...) sebagai messages untuk panggilan berikutnya. Tidak ada model yang berjalan di sini -> logika trimming bersifat deterministik dan dinilai secara langsung.

Buatlah kelas Conversation.Konstruktornya menerima system message opsional (disematkan, tidak pernah dibuang). add(role, content) menambahkan sebuah turn. trimmed_context(max_tokens) mengembalikan turn yang disimpan dalam urutan kronologis: setiap system message, ditambah turn biasa terbaru yang estimasi tokennya (dijumlahkan dengan chars / 4 rule) muat di dalam max_tokens, membuang yang terlama terlebih dahulu. Riwayat pendek di bawah anggaran besar disimpan utuh.

Giliranku

Buat kelas Conversation yang menyimpan gilirannya secara berurutan dalam atribut list turns (masing-masing adalah dict {"role", "content"}; Conversation(system=...) menyimpan pesan sistem sebagai giliran pertama): add(role, content) menambahkan giliran, dan trimmed_context(max_tokens) menyimpan pesan sistem ditambah unbroken run giliran terbaru yang muat dalam anggaran chars/4 token, dikembalikan dalam urutan kronologis. Mundur dari giliran terbaru dan berhenti di giliran pertama yang tidak muat: jangan pernah melewati giliran dan menyimpan yang lebih lama, karena percakapan dengan lubang di tengah (jawaban tanpa pertanyaannya) membingungkan model. Riwayat pendek disimpan utuh; anggaran ketat membuang yang terlama tapi tetap menyimpan pesan sistem dan giliran terbaru (jika giliran terbaru pun tidak muat, hanya pesan sistem yang tersisa); urutan tetap kronologis; estimasi token benar.

Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini

Latihan ini akan segera dibuka

Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.