NDCG@k: الأهمية المتدرجة
تتعامل الدقة والاستدعاء وMRR كلها مع الصلة كعلامة نعم/لا. لكن الصلة الحقيقية لها درجات: قد يكون المستند مثالياً، أو مفيداً نوعاً ما، أو خارج الموضوع. NDCG (Normalized Discounted Cumulative Gain) هو مقياس الصلة المتدرجة، وهو الذي تُبلغ عنه فعلاً فرق البحث والتوصية الكبيرة.
تحتوي على ثلاث أفكار متراكمة. أولا، gain: كل نتيجة تحمل درجة صلة (على سبيل المثال 3 = مثالي، 1 = هامشي، 0 = غير ذي صلة). ثانيا، discount حسب الموقع، لأن نتيجة رائعة مدفونة في المرتبة 10 تساعد أقل من نتيجة في المرتبة 1. يقوم Discounted Cumulative Gain بجمع ربح كل نتيجة مقسوما على log2(position + 1):
DCG = sum( rel_i / log2(i + 1) ) for i = 1, 2, 3, ...في الموقع 1 يكون المقسوم هو log2(2) = 1 (بدون خصم)؛ وفي الموقع 2 يكون log2(3)؛ وهكذا، لذا فإن المواقع اللاحقة تساوي أقل تدريجيا. ثالثا، normalization: قيمة DCG بمفردها غير محدودة ويصعب مقارنتها عبر الاستعلامات، لذا اقسم على ideal DCG (IDCG)، وهو قيمة DCG التي ستحصل عليها إذا تم ترتيب درجات الصلة نفسها من الأفضل إلى الأسوأ.
NDCG@k = DCG(top k) / DCG(ideal ordering of the same scores, top k)يضع ذلك كل استعلام على مقياس 0.0 إلى 1.0 حيث يعني 1.0 "مرتب بالفعل في أفضل ترتيب ممكن". التصنيف المعكوس يحصل على درجة أقل من 1.0 تماما؛ ويتم تعريف التصنيف الذي يحتوي على أصفار فقط (لا شيء ذي صلة) كـ 0.0.
ما الذي ستبنيه.
dcg(rels)-> الربح التراكمي المخصوم لقائمة من درجات الصلة، باستخدامmath.log2(i + 1)معiبدءا من 1.ndcg_at_k(ranked_rels, k)->dcgمن أعلىkمقسوما علىdcgلنفس النتائج مرتبة تنازليا (المثالي)، أعلىk. إذا كان DCG المثالي هو0، أرجع0.0بدلا من القسمة على صفر.
تحقق يدوي واحد: dcg([3, 0, 2]) هو 3/log2(2) + 0/log2(3) + 2/log2(4) = 3 + 0 + 1 = 4.0. اضغط Run لمقارنة ترتيب مثالي مقابل ترتيب معكوس.
اكتب dcg(rels) الذي يعيد DCG التراكمي sum(rel_i / log2(i + 1)) مع حساب المواقع i بدءا من 1. ثم اكتب ndcg_at_k(ranked_rels, k, ideal_rels=None) الذي يعيد dcg لأعلى k مقسوما على DCG المثالي: درجات الصلة لـ every وثيقة تم الحكم عليها، مرتبة تنازليا، أعلى k. تأتي هذه من ideal_rels عند توفرها؛ عندما تكون None، استخدم ranked_rels نفسه (صحيح فقط عندما يحتوي التصنيف بالفعل على كل الوثائق ذات الصلة). أخذ المثالي من القائمة المسترجعة وحدها هو خطأ كلاسيكي: النظام الذي يجد 1 من أصل 3 وثائق ذات صلة، في المرتبة 1، سيحصل على درجة مثالية 1.0. أعد 0.0 عندما يكون DCG المثالي 0 حتى لا يقسم التصنيف المكون من أصفار فقط على صفر.
سيفتح هذا التمرين قريبا
أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.
يقوم هذا المتصفح بحظر ملفات تعريف الارتباط لـ learn.floati.life، لذا لا يمكن فتح الدروس التي أنهيتها هنا بالترتيب. اسمح بملفات تعريف الارتباط لهذا الموقع وأعد التحميل.