مشروع التخرج: تقرير تقييم الاسترجاع
لديك المقاييس الأربعة. الآن اربطها بالشيء الذي يسلّمه المهندس فعلاً: تقرير تقييم الاسترجاع الذي يمرّر مجموعة استعلامات موسومة عبر مسترجِع ويُعيد بطاقة نتائج. هذا هو الأثر الذي يقف خلف سطر السيرة الذاتية "built and evaluated a RAG pipeline," وهو ما يتيح لك أن تقول "رفع المسترجِع الجديد MRR من 0.62 إلى 1.0" بدلاً من "يبدو أفضل."
يحتوي الهيكل على ثلاثة أجزاء متحركة. eval set هي قائمة من الحالات، كل حالة منها هي dict مثل {"query": "refund policy", "relevant": {"d_refund"}}. retriever هو أي callable retriever(query, k) يعيد قائمة مرتبة من doc IDs (أنت تمرره، لذا يمكن للتقرير نفسه تقييم BM25 baseline، أو dense retriever، أو hybrid). و report يقوم بتقييم كل query بناء على المقاييس الأربعة، ثم يجمعها.
def evaluate_retrieval(eval_set, retriever, k):
rows = []
failures = []
for case in eval_set:
retrieved = retriever(case["query"], k)
# score this query: P@k, R@k, RR, NDCG@k
# if the reciprocal rank is 0.0, the retriever missed -> record a failure
...
# roll rows into a pandas DataFrame, then return the means + the frame + failures
...لحساب NDCG عبر المعرفات المسترجعة، حول الترتيب إلى صلة متدرجة بالطريقة البسيطة: تحصل الوثيقة على درجة 1 إذا كانت في مجموعة الصلة، وإلا تحصل على 0. أعد استخدام الدوال التي بنيتها: precision_at_k، recall_at_k، reciprocal_rank، dcg، و ndcg_at_k.
ما الذي سيتم بناؤه. evaluate_retrieval(eval_set, retriever, k) إرجاع dict يحتوي على:
mean_precision_at_k,mean_recall_at_k,mrr,mean_ndcg_at_k-> متوسط كل مقياس عبر الاستعلامات، كلrounded مقرب إلى 4 خانات عشرية.per_query-> جدولpandas.DataFrame، صف واحد لكل استعلام، يحمل مقاييس ذلك الاستعلام (حتى تتمكن من معرفة أي استعلام فشل).failures-> قائمة الاستعلامات التي كان ترتيبها العكسي0.0(لم يستخرج المسترجع أي شيء ذي صلة). هذه هي قائمة عمل تصحيح الأخطاء الخاصة بك.
يقوم المصحح بفحص الأرقام الإجمالية مقابل القيم المحسوبة يدويا، ويؤكد أن قائمة الفشل تذكر الاستعلام غير المغطى، ويثبت أن أفضل مسترجع يحقق نتيجة أعلى تماما -> الفحص العلائقي الذي لا يمكن لأي ثابت تزييفه. في النظام الكامل، سيقوم النموذج الآن بالإجابة من القطع التي أعادها المسترجع الفائز، لكن خطوة التوليد هي النصف الآخر من خط الأنابيب؛ هنا أنت تقوم بتقييم الاسترجاع بمفرده. اضغط Run لطباعة بطاقة الأداء.
اكتب evaluate_retrieval(eval_set, retriever, k). الـ eval_set هي قائمة من قواميس {"query", "relevant"}؛ الـ retriever(query, k) تعيد قائمة مرتبة من معرفات doc IDs. لكل استعلام، قم بحساب درجة precision_at_k، recall_at_k، reciprocal_rank، و ndcg_at_k (اعتبر الوثيقة المسترجعة ذات صلة 1 إذا كانت في المجموعة ذات الصلة، وإلا 0، وقم ببناء المثالي من المجموعة ذات الصلة كاملة: واحد لكل وثيقة ذات صلة). أعد قاموسا يحتوي على mean_precision_at_k، mean_recall_at_k، mrr، mean_ndcg_at_k (كل منها مقرب إلى 4 خانات عشرية)، و per_query pandas DataFrame (صف واحد لكل استعلام)، و failures قائمة بكل استعلام كان ترتيبه العكسي 0.0.
سيفتح هذا التمرين قريبا
أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.
يقوم هذا المتصفح بحظر ملفات تعريف الارتباط لـ learn.floati.life، لذا لا يمكن فتح الدروس التي أنهيتها هنا بالترتيب. اسمح بملفات تعريف الارتباط لهذا الموقع وأعد التحميل.