Penolakan di Luar Cakupan, Kutipan & PII
Asisten kamu bisa mengambil dan membumikan data. Tapi bot dukungan asli di depan pelanggan butuh guardrails, dan ini adalah pelajaran yang mengubah demo menjadi sesuatu yang benar-benar akan kamu deploy. Ada tiga hal, dan manajer perekrutan akan mencari ketiganya:
- Tolak pertanyaan di luar cakupan. Jika tidak ada yang cukup mirip dengan pertanyaan di dalam basis pengetahuan, jangan mengarang -- kembalikan sentinel penolakan. Ini adalah perilaku keamanan paling penting dalam RAG.
- Cantumkan sumber. Saat kamu menjawab, sebutkan id artikel mana yang mendukung jawaban tersebut, supaya manusia bisa memverifikasinya.
- Hapus PII. Jika kamu pernah menampilkan teks pengguna (ke log, tiket, atau prompt), hapus email dan nomor telepon terlebih dahulu.
Buat retriever lagi (pakai TF-IDF kamu dari pelajaran 1) dan tambahkan layer guardrail:
answer_or_refuse(query, index) # refuse, or answer WITH citations
redact_pii(text) # mask emails and phone numbersanswer_or_refuse(query, index) menilai query terhadap basis pengetahuan. Jika top similarity di bawah ambang batas, pertanyaan di luar cakupan -- kembalikan sentinel I do not know. yang tepat. Jika tidak, kembalikan string jawaban tidak kosong yang cites the source ids yang digunakan. Grader memeriksa dua hal tentang jawaban asli: bukan sentinel, dan menyebutkan id artikel yang benar (misalnya sitasi untuk pertanyaan kata sandi menyertakan 0). Cara bersih untuk memformat sitasi adalah dengan (sources: [0]) di akhir, tapi bentuk apa pun yang mengandung id bisa digunakan. (Capstone ini menuliskannya sebagai "I do not know.", di mana modul RAG menggunakan "I don't know.". Kata yang tepat tidak penting; yang penting adalah prompt dan kodemu setuju pada satu string tetap, karakter demi karakter.)
Cara mengatur ambang batas: dengan stopwords yang dihapus, pertanyaan yang benar-benar tidak relevan ("apa ibu kota Prancis?") tidak memiliki kata konten dengan artikel mana pun, jadi cosine similarity teratasnya adalah 0.0. Pertanyaan yang relevan mendapat skor jauh di atas nol. Ambang batas positif kecil seperti 0.05 memisahkan keduanya dengan jelas.
redact_pii(text) mengganti email dengan [EMAIL] dan nomor telepon dengan [PHONE], tanpa mengubah bagian lainnya. Dua regex melakukannya. Email kira-kira name@host.tld; nomor telepon adalah deretan 7 digit atau lebih yang mungkin ada + - ( ) space di antaranya. Teks aman -- termasuk angka pendek seperti "30 days" -- harus tetap tidak berubah. Tekan Run untuk melihat jawaban yang sesuai topik dengan kutipan, penolakan yang tidak sesuai topik, dan PII yang disamarkan.
Gunakan kembali retriever TF-IDF kamu, lalu tambahkan guardrails. answer_or_refuse(query, index) mengembalikan sentinel I do not know. yang tepat saat similarity tertinggi di bawah ambang batas kecil; jika tidak, ia mengembalikan jawaban tidak kosong yang mencantumkan id doc sumber yang digunakan. redact_pii(text) menyamarkan email sebagai [EMAIL] dan nomor telepon sebagai [PHONE] sambil membiarkan teks aman (termasuk angka pendek seperti "30 days") tetap tidak berubah.
Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini
Latihan ini akan segera dibuka
Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.
Browser ini memblokir cookie untuk learn.floati.life, jadi pelajaran yang sudah kamu selesaikan di sini tidak bisa dibuka berurutan. Izinkan cookie untuk situs ini dan muat ulang.