Silabus Pelajaran 215 dari 250 · Proyek: Customer Support Copilot
Proyek: Customer Support Copilot

Penolakan di Luar Cakupan, Kutipan & PII

Asisten kamu bisa mengambil dan membumikan data. Tapi bot dukungan asli di depan pelanggan butuh guardrails, dan ini adalah pelajaran yang mengubah demo menjadi sesuatu yang benar-benar akan kamu deploy. Ada tiga hal, dan manajer perekrutan akan mencari ketiganya:

  • Tolak pertanyaan di luar cakupan. Jika tidak ada yang cukup mirip dengan pertanyaan di dalam basis pengetahuan, jangan mengarang -- kembalikan sentinel penolakan. Ini adalah perilaku keamanan paling penting dalam RAG.
  • Cantumkan sumber. Saat kamu menjawab, sebutkan id artikel mana yang mendukung jawaban tersebut, supaya manusia bisa memverifikasinya.
  • Hapus PII. Jika kamu pernah menampilkan teks pengguna (ke log, tiket, atau prompt), hapus email dan nomor telepon terlebih dahulu.

Buat retriever lagi (pakai TF-IDF kamu dari pelajaran 1) dan tambahkan layer guardrail:

answer_or_refuse(query, index)   # refuse, or answer WITH citations
redact_pii(text)                 # mask emails and phone numbers

answer_or_refuse(query, index) menilai query terhadap basis pengetahuan. Jika top similarity di bawah ambang batas, pertanyaan di luar cakupan -- kembalikan sentinel I do not know. yang tepat. Jika tidak, kembalikan string jawaban tidak kosong yang cites the source ids yang digunakan. Grader memeriksa dua hal tentang jawaban asli: bukan sentinel, dan menyebutkan id artikel yang benar (misalnya sitasi untuk pertanyaan kata sandi menyertakan 0). Cara bersih untuk memformat sitasi adalah dengan (sources: [0]) di akhir, tapi bentuk apa pun yang mengandung id bisa digunakan. (Capstone ini menuliskannya sebagai "I do not know.", di mana modul RAG menggunakan "I don't know.". Kata yang tepat tidak penting; yang penting adalah prompt dan kodemu setuju pada satu string tetap, karakter demi karakter.)

Cara mengatur ambang batas: dengan stopwords yang dihapus, pertanyaan yang benar-benar tidak relevan ("apa ibu kota Prancis?") tidak memiliki kata konten dengan artikel mana pun, jadi cosine similarity teratasnya adalah 0.0. Pertanyaan yang relevan mendapat skor jauh di atas nol. Ambang batas positif kecil seperti 0.05 memisahkan keduanya dengan jelas.

redact_pii(text) mengganti email dengan [EMAIL] dan nomor telepon dengan [PHONE], tanpa mengubah bagian lainnya. Dua regex melakukannya. Email kira-kira name@host.tld; nomor telepon adalah deretan 7 digit atau lebih yang mungkin ada + - ( ) space di antaranya. Teks aman -- termasuk angka pendek seperti "30 days" -- harus tetap tidak berubah. Tekan Run untuk melihat jawaban yang sesuai topik dengan kutipan, penolakan yang tidak sesuai topik, dan PII yang disamarkan.

Giliranku

Gunakan kembali retriever TF-IDF kamu, lalu tambahkan guardrails. answer_or_refuse(query, index) mengembalikan sentinel I do not know. yang tepat saat similarity tertinggi di bawah ambang batas kecil; jika tidak, ia mengembalikan jawaban tidak kosong yang mencantumkan id doc sumber yang digunakan. redact_pii(text) menyamarkan email sebagai [EMAIL] dan nomor telepon sebagai [PHONE] sambil membiarkan teks aman (termasuk angka pendek seperti "30 days") tetap tidak berubah.

Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini

Latihan ini akan segera dibuka

Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.