متوسط الترتيب العكسي
تعامل مقاييس الدقة والاستدعاء مع أعلى k كحقيبة واحدة: الوثيقة ذات الصلة في الموقع 1 تحسب بنفس قيمة الوثيقة في الموقع 5. لكن الترتيب مهم. يقرأ المستخدم من الأعلى، وعادة ما يعتمد أمر RAG بشكل كبير على القطعة الأولى. متوسط الترتيب العكسي (MRR) يكافئ الحصول على نتيجة ذات صلة عالية.
لاستعلام واحد، فإن reciprocal rank هو 1 / (rank of the first relevant doc)، مع احتساب الرتب بدءا من 1. إذا كان أول مستند ذي صلة في الموقع 1 تحصل على درجة 1.0؛ في الموقع 2 تحصل على درجة 0.5؛ في الموقع 3، تحصل على 1/3. إذا لم يظهر أي مستند ذي صلة على الإطلاق، تكون الدرجة 0.0. فقط النتيجة first تهم، وهو النموذج الصحيح تماما لسؤال "هل ظهرت الإجابة حيث سينظر المستخدم (أو النموذج)؟"
retrieved = ["a", "b", "c"], relevant = {"b"}
# first relevant doc is "b" at rank 2 -> reciprocal rank = 1/2 = 0.5MRR هو مجرد متوسط تلك الرتب العكسية عبر مجموعة كاملة من الاستعلامات. استعلامان يحصلان على درجات 1.0 و 0.5 يعطيان MRR بقيمة 0.75. إنه الرقم الرئيسي القياسي لاسترجاع الإجابات على الأسئلة، حيث يكون لكل استعلام عادة إجابة صحيحة واحدة تريد إظهارها أولا.
ما الذي ستبنيه.
reciprocal_rank(retrieved, relevant)-> قم بمسح القائمة المصنفة، وفي اللحظة التي تصل فيها إلى doc فيrelevantقم بإرجاع1.0 / rank(تبدأ الرتب من 1). إذا لم تصل إلى أي منها أبدا، قم بإرجاع0.0.mrr(queries)->queriesهي قائمة من أزواج(retrieved, relevant)؛ احسب متوسط الرتبة العكسية لكل زوج. القائمة الفارغة تعيد0.0، وليس انهياراً.
استخدم enumerate(retrieved, start=1) ليكون المؤشر هو الرتبة بالفعل. اضغط
قم بتشغيل لتسجيل استعلامين ومعرفة المتوسط.
اكتب reciprocal_rank(retrieved, relevant) ليعيد 1.0 / (rank of the first relevant doc) مع حساب الرتب بدءا من 1، أو 0.0 إذا لم يتم استرداد أي مستند ذي صلة. ثم اكتب mrr(queries) حيث queries هي قائمة من أزواج (retrieved, relevant)، ليعيد المتوسط الحسابي لرتبهم العكسية (و 0.0 للقائمة الفارغة).
سيفتح هذا التمرين قريبا
أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.
يقوم هذا المتصفح بحظر ملفات تعريف الارتباط لـ learn.floati.life، لذا لا يمكن فتح الدروس التي أنهيتها هنا بالترتيب. اسمح بملفات تعريف الارتباط لهذا الموقع وأعد التحميل.