Pembatas, Grounding & Anti-Halusinasi
Cara paling ampuh untuk menghentikan model mengarang adalah grounding: beri ia bahan sumbernya, pagari dengan pembatas yang jelas, dan perintahkan ia menjawab hanya dari bahan itu, dengan jalan keluar yang jelas kalau jawabannya tidak ada di sana. Ini inti dari setiap sistem retrieval-augmented, dan semuanya soal menyusun prompt.
Buat grounded_prompt(question, context_chunks) yang menyusun:
- Bagian
CONTEXT:dengan setiap potongan diberi nomor dan dipagari, seperti[1] ...,[2] .... - Pertanyaannya setelah konteks.
- Instruksi persis untuk menjawab hanya dari konteks, diakhiri dengan jalan keluarnya: kalau jawabannya tidak ada di konteks, balas persis
I don't know. - Giliran jawaban terbuka di akhir supaya model tahu ia harus menjawab.
Lalu buat pemeriksanya. check_grounded(answer, context_chunks) mengembalikan True kalau jawabannya berdasar: entah persis kalimat penanda I don't know., ATAU setiap kata penting di jawaban muncul di konteks yang digabung. Ia mengembalikan False kalau jawabannya berisi kata karangan yang tidak pernah disebut konteks.
ctx = ["The capital of France is Paris."]
check_grounded("The capital is Paris.", ctx) # True
check_grounded("I don't know.", ctx) # True (honest)
check_grounded("The capital is Berlin.", ctx) # False (invented)Abaikan kata henti kecil (the, is, a, of...) saat memeriksa kata penting, supaya kalimat biasa tidak dihukum, tetapi kata isi seperti Berlin yang tidak pernah muncul di konteks benar-benar gagal. Tekan Run untuk dinilai.
Jujurlah soal apa yang bisa ditangkap: pemeriksaan keberadaan menandai token karangan (kata yang tidak pernah disebut konteks), tetapi tidak bisa menangkap klaim salah yang dirangkai ulang dari kata-kata konteks yang asli. "Refunds take France business days" akan lolos di sini walaupun tidak masuk akal, karena setiap katanya ada di konteks. Pemeriksaan kesetiaan yang sungguhan butuh LLM-judge atau model NLI (entailment) yang menalar makna, bukan sekadar keanggotaan kata.
Tulis grounded_prompt(question, context_chunks) yang menomori dan memagari potongan di bawah CONTEXT:, tambahkan pertanyaan, minta jawaban hanya dari konteks dengan jalan keluar tepat I don't know., dan akhiri pada giliran jawaban terbuka. Tata letak tepat, baris digabung dengan "\n": CONTEXT:, lalu satu baris per potongan ditulis sebagai [1] chunk text, [2] ..., baris kosong, Question: ..., baris instruksi (harus berisi I don't know.), dan akhirnya giliran jawaban terbuka [assistant]. Tulis check_grounded(answer, context_chunks) mengembalikan True untuk sentinel ATAU ketika setiap kata jawaban penting (bukan stopword) ada di konteks yang digabung, jika tidak False.
Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini
Latihan ini akan segera dibuka
Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.
Browser ini memblokir cookie untuk learn.floati.life, jadi pelajaran yang sudah kamu selesaikan di sini tidak bisa dibuka berurutan. Izinkan cookie untuk situs ini dan muat ulang.