Penghalang Penolakan di Luar Cakupan
A sistem RAG yang selalu menjawab itu berbahaya. Tanya bot dukunganmu "what is the weather in Tokyo?" dan, jika dia tetap menjawab, itu tidak lagi berdasarkan dokumenmu, dia hanya menebak. Solusinya adalah refusal guardrail: sebelum kamu membangun prompt, lihat seberapa baik chunk yang diambil benar-benar cocok dengan pertanyaan. Jika kecocokan terbaik lemah, dokumennya mungkin tidak membahas pertanyaan tersebut, jadi langkah yang tepat adalah menolak dan menyerahkannya daripada berhalusinasi.
Sinyal yang sudah kamu punya adalah kemiripan pengambilan teratas. Pilih sebuah threshold. Jika potongan yang diambil dengan skor tertinggi ada di bawahnya, tolak. Ini adalah pengecekan tunggal dan murah yang berada di antara retrieval dan generation, dan ini adalah salah satu bagian paling berharga dari sistem RAG produksi: ini adalah perbedaan antara "Saya tidak tahu" dan jawaban salah yang meyakinkan.
contexts = [
{"text": "Refunds take five business days...", "score": 0.62},
{"text": "Shipping takes 5 to 7 days...", "score": 0.20},
]
should_refuse("how do refunds work?", contexts, 0.3) # -> False, top 0.62 clears it
should_refuse("what is the weather?", contexts, 0.7) # -> True, top 0.62 below 0.7Apa yang mau dibangun. Tulis should_refuse(query, contexts, threshold) di mana contexts adalah list dari dicts yang masing-masing membawa "score" numerik (kemiripan pengambilan). Return:
Truesaatcontextskosong (tidak ada yang diambil -> tidak ada yang bisa dijadikan dasar).Truesaat highest skor di antara konteks berada di bawahthreshold. secara ketatFalsekalau tidak (setidaknya satu bagian memenuhi syarat).
Batasannya sengaja: skor yang tepat sama dengan ambang batas sudah cukup untuk menjawab (gunakan strictly-less-than untuk penolakan). Perhatikan bahwa query dilewati karena sistem nyata mungkin juga menolak berdasarkan sinyal lain, tapi di sini keputusannya bergantung pada skor. Tekan Run untuk melihat pertanyaan in-domain dan out-of-domain mendapat keputusan yang berbeda.
Tulis should_refuse(query, contexts, threshold) yang mengembalikan True saat contexts kosong atau saat "score" maksimum di seluruh context dict lebih kecil dari threshold, dan False jika tidak. Skor yang tepat sama dengan threshold TIDAK boleh ditolak.
Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini
Latihan ini akan segera dibuka
Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.
Browser ini memblokir cookie untuk learn.floati.life, jadi pelajaran yang sudah kamu selesaikan di sini tidak bisa dibuka berurutan. Izinkan cookie untuk situs ini dan muat ulang.