المنهج الدراسي الدرس 162 من 250 · تقييم RAG والاسترجاع
تقييم RAG والاسترجاع

متوسط الترتيب العكسي

تعامل مقاييس الدقة والاستدعاء مع أعلى k كحقيبة واحدة: الوثيقة ذات الصلة في الموقع 1 تحسب بنفس قيمة الوثيقة في الموقع 5. لكن الترتيب مهم. يقرأ المستخدم من الأعلى، وعادة ما يعتمد أمر RAG بشكل كبير على القطعة الأولى. متوسط الترتيب العكسي (MRR) يكافئ الحصول على نتيجة ذات صلة عالية.

لاستعلام واحد، فإن reciprocal rank هو 1 / (rank of the first relevant doc)، مع احتساب الرتب بدءا من 1. إذا كان أول مستند ذي صلة في الموقع 1 تحصل على درجة 1.0؛ في الموقع 2 تحصل على درجة 0.5؛ في الموقع 3، تحصل على 1/3. إذا لم يظهر أي مستند ذي صلة على الإطلاق، تكون الدرجة 0.0. فقط النتيجة first تهم، وهو النموذج الصحيح تماما لسؤال "هل ظهرت الإجابة حيث سينظر المستخدم (أو النموذج)؟"

retrieved = ["a", "b", "c"], relevant = {"b"}
# first relevant doc is "b" at rank 2 -> reciprocal rank = 1/2 = 0.5

MRR هو مجرد متوسط تلك الرتب العكسية عبر مجموعة كاملة من الاستعلامات. استعلامان يحصلان على درجات 1.0 و 0.5 يعطيان MRR بقيمة 0.75. إنه الرقم الرئيسي القياسي لاسترجاع الإجابات على الأسئلة، حيث يكون لكل استعلام عادة إجابة صحيحة واحدة تريد إظهارها أولا.

ما الذي ستبنيه.

  • reciprocal_rank(retrieved, relevant) -> قم بمسح القائمة المصنفة، وفي اللحظة التي تصل فيها إلى doc في relevant قم بإرجاع 1.0 / rank (تبدأ الرتب من 1). إذا لم تصل إلى أي منها أبدا، قم بإرجاع 0.0.
  • mrr(queries) -> queries هي قائمة من أزواج (retrieved, relevant)؛ احسب متوسط الرتبة العكسية لكل زوج. القائمة الفارغة تعيد 0.0، وليس انهياراً.

استخدم enumerate(retrieved, start=1) ليكون المؤشر هو الرتبة بالفعل. اضغط قم بتشغيل لتسجيل استعلامين ومعرفة المتوسط.

دورك

اكتب reciprocal_rank(retrieved, relevant) ليعيد 1.0 / (rank of the first relevant doc) مع حساب الرتب بدءا من 1، أو 0.0 إذا لم يتم استرداد أي مستند ذي صلة. ثم اكتب mrr(queries) حيث queries هي قائمة من أزواج (retrieved, relevant)، ليعيد المتوسط الحسابي لرتبهم العكسية (و 0.0 للقائمة الفارغة).

هل لاحظت مشكلة في هذا الدرس؟ أبلغ عنها · اسأل عن هذا الدرس

سيفتح هذا التمرين قريبا

أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.