تقييم المساعد (P@k + Answer Accuracy + Gate)
هذا هو الدرس الذي يمنحك النصف الثاني من سطر سيرتك الذاتية: وتم تقييمه. يمكن لأي شخص إعداد عرض توضيحي لـ RAG. ما يميز المبتدئ عن شخص قد توظفه لامتلاك مساعد إنتاج هو القدرة على قياس ذلك وعلى منع تغيير سيئ من النشر. ستقوم ببناء إطار التقييم وبوابة التراجع.
تقوم بالتقييم مقابل gold set: وهي قائمة صغيرة مصنفة حيث تحتوي كل حالة على query، و ids الخاصة بالمقالات ذات الصلة، ونص الإجابة المتوقع. هناك عائلتان من المقاييس:
- جودة الاسترجاع --
precision_at_k: من بين أفضل k معرفات استرجعها المسترجع الخاص بك، ما هو الكسر ذو الصلة. يخبرك هذا ما إذا كان البوت ينظر إلى المقالات الصحيحة أم لا. - جودة الإجابة -- دقة الإجابة المنتجة مقابل النص المتوقع، في وضعين:
contains(يظهر المقطع المتوقع في الإجابة، دون مراعاة حالة الأحرف) وexact(تطابق تام بعد إزالة المسافات الزائدة).containsهو الخيار الأكثر مرونة وواقعية للإجابات النصية الحرة.
قم ببناء هذه:
precision_at_k(retrieved, relevant, k)
answer_accuracy(predicted, expected, mode)
evaluate(config) # -> a metrics dict over the whole gold set
regression_gate(old, new) # -> True if safe to ship, False if it regressedprecision_at_k: نسبة أول k من المعرفات المسترجعة الموجودة في المجموعة ذات الصلة؛ 0.0 في حالة الاسترجاع الفارغ. answer_accuracy: 1.0 أو 0.0 لتوقع واحد، مع مراعاة المنوال.
evaluate(config) يربط كل شيء ببعضه. يحمل قاموس config قائمة gold، ودالة retriever (query -> ranked ids)، ودالة answerer (query -> text)، والإعدادات k و mode. قم بتشغيل كل حالة ذهبية وأرجع قاموسا يحتوي على n (الحالات التي تم تقييمها) على الأقل، و precision_at_k (المتوسط عبر الحالات، مقربا إلى 4 خانات)، و answer_accuracy (المتوسط، مقربا إلى 4). يجب ألا يتسبب empty gold set في توقف البرنامج -- أرجع أصفارا.
regression_gate(old, new) هو حارس CI الذي ستصله بطلب السحب: أرجع True فقط إذا لم تتدهور التشغيل الجديد في المقياس المحمي (answer_accuracy افتراضيا) -- التساوي أو التحسن مقبول، أما الانخفاض فيرجع False. هذا هو الشيء الذي يمنع، في الواقع، تعديل المطالبة من خفض الجودة بصمت. اضغط Run لتقييم بوت مثالي وآخر معطل وراقب الحارس وهو يوقف التراجع.
قم ببناء هيكل التقييم فوق مجموعة ذهبية مصنفة. استخدم precision_at_k(retrieved, relevant, k) للاسترجاع و answer_accuracy(predicted, expected, mode) (contains / exact) للإجابات. يقوم evaluate(config) بتشغيل المجموعة الذهبية (مع وظائف retriever و answerer، و k، و mode) ويعيد قاموس metrics للمتوسطات (n، precision_at_k، answer_accuracy)، وهو آمن في حالة الفراغ. يعيد regression_gate(old, new) قيمة True فقط إذا لم تنخفض دقة الإجابة.
سيفتح هذا التمرين قريبا
أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.
يقوم هذا المتصفح بحظر ملفات تعريف الارتباط لـ learn.floati.life، لذا لا يمكن فتح الدروس التي أنهيتها هنا بالترتيب. اسمح بملفات تعريف الارتباط لهذا الموقع وأعد التحميل.