Silabus Pelajaran 157 dari 250 · Bangun Pipeline RAG
Bangun Pipeline RAG

Penghalang Penolakan di Luar Cakupan

A sistem RAG yang selalu menjawab itu berbahaya. Tanya bot dukunganmu "what is the weather in Tokyo?" dan, jika dia tetap menjawab, itu tidak lagi berdasarkan dokumenmu, dia hanya menebak. Solusinya adalah refusal guardrail: sebelum kamu membangun prompt, lihat seberapa baik chunk yang diambil benar-benar cocok dengan pertanyaan. Jika kecocokan terbaik lemah, dokumennya mungkin tidak membahas pertanyaan tersebut, jadi langkah yang tepat adalah menolak dan menyerahkannya daripada berhalusinasi.

Sinyal yang sudah kamu punya adalah kemiripan pengambilan teratas. Pilih sebuah threshold. Jika potongan yang diambil dengan skor tertinggi ada di bawahnya, tolak. Ini adalah pengecekan tunggal dan murah yang berada di antara retrieval dan generation, dan ini adalah salah satu bagian paling berharga dari sistem RAG produksi: ini adalah perbedaan antara "Saya tidak tahu" dan jawaban salah yang meyakinkan.

contexts = [
    {"text": "Refunds take five business days...", "score": 0.62},
    {"text": "Shipping takes 5 to 7 days...",        "score": 0.20},
]
should_refuse("how do refunds work?", contexts, 0.3)  # -> False, top 0.62 clears it
should_refuse("what is the weather?", contexts, 0.7)  # -> True,  top 0.62 below 0.7

Apa yang mau dibangun. Tulis should_refuse(query, contexts, threshold) di mana contexts adalah list dari dicts yang masing-masing membawa "score" numerik (kemiripan pengambilan). Return:

  • True saat contexts kosong (tidak ada yang diambil -> tidak ada yang bisa dijadikan dasar).
  • True saat highest skor di antara konteks berada di bawah threshold.
  • secara ketat
  • False kalau tidak (setidaknya satu bagian memenuhi syarat).

Batasannya sengaja: skor yang tepat sama dengan ambang batas sudah cukup untuk menjawab (gunakan strictly-less-than untuk penolakan). Perhatikan bahwa query dilewati karena sistem nyata mungkin juga menolak berdasarkan sinyal lain, tapi di sini keputusannya bergantung pada skor. Tekan Run untuk melihat pertanyaan in-domain dan out-of-domain mendapat keputusan yang berbeda.

Giliranku

Tulis should_refuse(query, contexts, threshold) yang mengembalikan True saat contexts kosong atau saat "score" maksimum di seluruh context dict lebih kecil dari threshold, dan False jika tidak. Skor yang tepat sama dengan threshold TIDAK boleh ditolak.

Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini

Latihan ini akan segera dibuka

Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.