المنهج الدراسي الدرس 157 من 250 · بناء خط أنابيب RAG
بناء خط أنابيب RAG

حاجز رفض خارج النطاق

نظام

A RAG الذي يجيب دائما هو أمر خطير. اسأل بوت الدعم الخاص بك "ما هو الطقس في طوكيو؟" وإذا أجاب على أي حال، فهو لم يعد مستنداً إلى وثائقك، بل هو يخمن. الحل هو refusal guardrail: قبل أن تقوم ببناء prompt أبداً، انظر إلى مدى مطابقة chunks المسترجعة للسؤال فعلياً. إذا كانت أفضل مطابقة ضعيفة، فمن المحتمل أن الوثائق لا تغطي السؤال، لذا فإن التصرف الصحيح هو الرفض والتسليم بدلاً من الهلوسة.

الإشارة التي لديك بالفعل هي أعلى تشابه استرجاع. اختر threshold. إذا كانت القطعة المسترجعة ذات الدرجة الأعلى أقل منها، فارفضها. هذا فحص واحد رخيص يقع بين الاسترجاع والتوليد، وهو أحد أعلى قطع القيمة في نظام RAG الإنتاجي: إنه الفرق بين "أنا لا أعرف" وإجابة خاطئة واثقة.

contexts = [
    {"text": "Refunds take five business days...", "score": 0.62},
    {"text": "Shipping takes 5 to 7 days...",        "score": 0.20},
]
should_refuse("how do refunds work?", contexts, 0.3)  # -> False, top 0.62 clears it
should_refuse("what is the weather?", contexts, 0.7)  # -> True,  top 0.62 below 0.7

ما الذي سيتم بناؤه. اكتب should_refuse(query, contexts, threshold) حيث contexts هي قائمة من القواميس كل منها يحمل "score" رقمي (تشابه الاسترجاع). الإرجاع:

  • True عندما يكون contexts فارغا (لا يوجد شيء مسترجع -> لا يوجد شيء للاعتماد عليه).
  • True عندما تكون highest النتيجة بين السياقات أقل تماما من threshold.
  • False وإلا (على الأقل قطعة واحدة تتجاوز الحد).

الحد هو مقصود: الدرجة التي تساوي العتبة بالضبط كافية للإجابة (استخدم strictly-less-than للرفض). لاحظ أن query يتم تمريره لأن النظام الحقيقي قد يرفض أيضاً بناءً على إشارات أخرى، ولكن هنا يعتمد القرار على الدرجات. اضغط على Run لمشاهدة الأسئلة داخل النطاق وخارجه تحصل على أحكام مختلفة.

دورك

اكتب should_refuse(query, contexts, threshold) الذي يعيد True عندما يكون contexts فارغاً أو عندما يكون الحد الأقصى لـ "score" عبر قواميس السياق أقل تماماً من threshold، و False في غير ذلك. يجب ألا يرفض الدرجة التي تساوي العتبة تماماً.

هل لاحظت مشكلة في هذا الدرس؟ أبلغ عنها · اسأل عن هذا الدرس

سيفتح هذا التمرين قريبا

أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.