المنهج الدراسي الدرس 216 من 250 · المشروع: مساعد دعم العملاء Copilot
المشروع: مساعد دعم العملاء Copilot

تقييم المساعد (P@k + Answer Accuracy + Gate)

هذا هو الدرس الذي يمنحك النصف الثاني من سطر سيرتك الذاتية: وتم تقييمه. يمكن لأي شخص إعداد عرض توضيحي لـ RAG. ما يميز المبتدئ عن شخص قد توظفه لامتلاك مساعد إنتاج هو القدرة على قياس ذلك وعلى منع تغيير سيئ من النشر. ستقوم ببناء إطار التقييم وبوابة التراجع.

تقوم بالتقييم مقابل gold set: وهي قائمة صغيرة مصنفة حيث تحتوي كل حالة على query، و ids الخاصة بالمقالات ذات الصلة، ونص الإجابة المتوقع. هناك عائلتان من المقاييس:

  • جودة الاسترجاع -- precision_at_k: من بين أفضل k معرفات استرجعها المسترجع الخاص بك، ما هو الكسر ذو الصلة. يخبرك هذا ما إذا كان البوت ينظر إلى المقالات الصحيحة أم لا.
  • جودة الإجابة -- دقة الإجابة المنتجة مقابل النص المتوقع، في وضعين: contains (يظهر المقطع المتوقع في الإجابة، دون مراعاة حالة الأحرف) و exact (تطابق تام بعد إزالة المسافات الزائدة). contains هو الخيار الأكثر مرونة وواقعية للإجابات النصية الحرة.

قم ببناء هذه:

precision_at_k(retrieved, relevant, k)
answer_accuracy(predicted, expected, mode)
evaluate(config)            # -> a metrics dict over the whole gold set
regression_gate(old, new)   # -> True if safe to ship, False if it regressed

precision_at_k: نسبة أول k من المعرفات المسترجعة الموجودة في المجموعة ذات الصلة؛ 0.0 في حالة الاسترجاع الفارغ. answer_accuracy: 1.0 أو 0.0 لتوقع واحد، مع مراعاة المنوال.

evaluate(config) يربط كل شيء ببعضه. يحمل قاموس config قائمة gold، ودالة retriever (query -> ranked ids)، ودالة answerer (query -> text)، والإعدادات k و mode. قم بتشغيل كل حالة ذهبية وأرجع قاموسا يحتوي على n (الحالات التي تم تقييمها) على الأقل، و precision_at_k (المتوسط عبر الحالات، مقربا إلى 4 خانات)، و answer_accuracy (المتوسط، مقربا إلى 4). يجب ألا يتسبب empty gold set في توقف البرنامج -- أرجع أصفارا.

regression_gate(old, new) هو حارس CI الذي ستصله بطلب السحب: أرجع True فقط إذا لم تتدهور التشغيل الجديد في المقياس المحمي (answer_accuracy افتراضيا) -- التساوي أو التحسن مقبول، أما الانخفاض فيرجع False. هذا هو الشيء الذي يمنع، في الواقع، تعديل المطالبة من خفض الجودة بصمت. اضغط Run لتقييم بوت مثالي وآخر معطل وراقب الحارس وهو يوقف التراجع.

دورك

قم ببناء هيكل التقييم فوق مجموعة ذهبية مصنفة. استخدم precision_at_k(retrieved, relevant, k) للاسترجاع و answer_accuracy(predicted, expected, mode) (contains / exact) للإجابات. يقوم evaluate(config) بتشغيل المجموعة الذهبية (مع وظائف retriever و answerer، و k، و mode) ويعيد قاموس metrics للمتوسطات (n، precision_at_k، answer_accuracy)، وهو آمن في حالة الفراغ. يعيد regression_gate(old, new) قيمة True فقط إذا لم تنخفض دقة الإجابة.

هل لاحظت مشكلة في هذا الدرس؟ أبلغ عنها · اسأل عن هذا الدرس

سيفتح هذا التمرين قريبا

أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.