المنهج الدراسي الدرس 161 من 250 · تقييم RAG والاسترجاع
تقييم RAG والاسترجاع

الدقة عند k والاستدعاء عند k

قبل أن تقوم بتعديل أي prompt، أجب على سؤال أصعب: هل يقوم الـ retriever بالعثور على المستندات الصحيحة؟ يتكون نظام RAG من جزئين، الاسترجاع والإنتاج، وهما يفشلان بطرق مختلفة. إذا عادت chunks خاطئة، فلن ينقذك أي قدر من تحسين الـ prompt. لذا نقوم بقياس الاسترجاع بشكل مستقل، مقابل مجموعة مصنفة من relevant المستندات لكل query، مع رقمين يعرفهما كل مهندس بحث عن ظهر قلب.

يسأل

Precision@k: من بين أفضل k مستندات قمت بإرجاعها، ما هو الكسر الذي كان ذا صلة فعليا؟ إنه مقياس "كم من النفايات عرضتها على المستخدم"

precision@k = (relevant docs in the top k) / (number of docs in the top k)

Recall@k يسأل العكس: من بين جميع المستندات التي كانت were ذات صلة، ما هو الكسر الذي نجحت في إظهاره في أعلى k؟ إنه مقياس "كم فاتني".

recall@k = (relevant docs in the top k) / (total number of relevant docs)

مثال ملموس. تسترجع ["a", "b", "c"] والمجموعة ذات الصلة هي {"a", "c"}. عند k=3، وثيقتان من أصل ثلاث وثائق مسترجعة هي وثائق ذات صلة، لذا فإن الدقة هي 2/3. تم العثور على كلتا الوثيقتين ذاتي الصلة، لذا فإن الاستدعاء هو 1.0. يتحرك كلاهما في حالة توتر: توسيع k يؤدي إلى ارتفاع الاستدعاء بينما تنخفض الدقة عادة.

ما الذي ستبنيه.دالتان نقيتان:

  • precision_at_k(retrieved, relevant, k) -> كسر معرفات k المسترجعة الموجودة في relevant. اقسم على عدد المستندات التي لديك فعليا في k (حتى لا يتم القسمة على رقم خاطئ في حال كانت القائمة قصيرة أو كانت k كبيرة).
  • recall_at_k(retrieved, relevant, k) -> كسر relevant الموجود في k العلوي، بالقسمة على len(relevant).

راقب الحواف التي تختبرها الاختبارات: kأكبر من القائمة المسترجعة، ومجموعة ذات صلة فارغة (أرجع 0.0، ولا تقسم أبدا على صفر). تعامل مع relevant كمجموعة للتحقق من العضوية بسرعة. في بيئة اختبار حقيقية، ستقوم بتغذية هذه المدخلات بمخرجات مخزن المتجهات الخاص بك؛ هنا يتم تقييمها مباشرة بناءً على القوائم المصنفة.

ملاحظة واحدة حول النطاق: تغطي هذه الوحدة Precision@k و Recall@k و MRR و NDCG. غالبًا ما تذكر فرق البحث أيضًا MAP (متوسط متوسط الدقة)، والذي يحسب متوسط الدقة المقاسة عند كل نتيجة ذات صلة عبر مجموعة استعلامات؛ والمقاييس الأربعة هنا هي نقطة البداية الأكثر شيوعًا.

اضغط على Run للحصول على ترتيب.

دورك

اكتب precision_at_k(retrieved, relevant, k) (جزء معرفات k العلوية الموجودة في مجموعة relevant، مقسومة على عدد المستندات الموجودة فعليا في k العلوية) و recall_at_k(retrieved, relevant, k) (جزء مجموعة relevant الملتقطة في k العلوية، مقسومة على len(relevant)). يجب أن يعيد كلاهما 0.0 في الحالات الفارغة (استرجاع فارغ، مجموعة ذات صلة فارغة) بدلا من التوقف عن العمل.

هل لاحظت مشكلة في هذا الدرس؟ أبلغ عنها · اسأل عن هذا الدرس

سيفتح هذا التمرين قريبا

أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.