المنهج الدراسي الدرس 148 من 250 · التضمينات والبحث الدلالي من الصفر
التضمينات والبحث الدلالي من الصفر

BM25: التصنيف المعجمي المتفرق

يعتبر

TF-IDF أساسا رائعا، لكن دالة الترتيب التي تشغل محركات البحث فعليا والنصف المعجمي من الاسترجاع الهجين الحديث هي BM25. هي تحافظ على غريزة TF-IDF (الكلمات النادرة مهمة، والكلمات المتكررة مهمة) لكنها تعالج اثنين من عيوبها باستخدام أزرار قابلة للضبط.

بالنسبة لمصطلح استعلام في مستند، تساهم BM25 بما يلي:

idf(term) * ( tf * (k1 + 1) ) / ( tf + k1 * (1 - b + b * dl / avgdl) )

حيث tf هو عدد مرات ظهور المصطلح في المستند، وdl هو طول المستند، وavgdl هو متوسط طول المستند. درجة المستند هي مجموع كل مصطلحات الاستعلام. ثلاث قطع تقوم بالعمل:

  • IDF مع تنعيم BM25: idf = log(1 + (N - n + 0.5) / (n + 0.5))، حيث N هو عدد المستندات و n هو عدد المستندات التي تحتوي على المصطلح. + 1 يمنعه من أن يصبح سالبا.
  • تشبع تردد المصطلح عبر k1 (الافتراضي 1.5): التكرار العاشر للكلمة يضيف أقل بكثير من التكرار الثاني. ينمو TF-IDF الخام خطيا للأبد؛ بينما يتسطح BM25.
  • تطبيع الطول عبر b (الافتراضي 0.75): من المتوقع أن يحتوي المستند الطويل على مصطلح بشكل متكرر لمجرد كونه طويلاً، لذا يتم خصم درجته. في حال وجود مستندين بنفس tf، يتم ترتيب المستند الأقصر في مرتبة أعلى.
المصطلح

الذي يظهر في no لا يساهم بأي شيء، والوثيقة التي تفتقر إلى كل مصطلحات الاستعلام تحصل على درجة 0.0 بالضبط. هذا الصفر أساسي: هو كيف تعرف أن الوثيقة غير ذات صلة.

ستعمل على tokenized وثائق (قوائم كلمات) ليكون التركيز على الرياضيات وليس على tokenization. استخدم math.log (natural log)؛ لأن القاعدة تقوم فقط بتغيير مقياس جميع الدرجات بثابت ولا تغير الترتيب.

قم ببناء

البناء bm25_scores(query, corpus_tokens, k1=1.5, b=0.75) حيث query هي قائمة بمصطلحات الاستعلام و corpus_tokens هي قائمة بالوثائق التي تم تقسيمها إلى رموز. أعد قائمة من درجات BM25، درجة واحدة لكل وثيقة، بترتيب المتن.

دورك

اكتب bm25_scores(query, corpus_tokens, k1=1.5, b=0.75) لتنفيذ دالة ترتيب BM25. query هي قائمة من المصطلحات؛ corpus_tokens هي قائمة من المستندات المقطعة (كل منها قائمة من الكلمات). لكل مستند، احسب المجموع عبر مصطلحات الاستعلام الفريدة: idf * tf * (k1 + 1) / (tf + k1 * (1 - b + b * dl / avgdl))، مع idf = log(1 + (N - n + 0.5) / (n + 0.5)). أعد قائمة من الدرجات بترتيب المدونة. المستند الذي يحتوي على تكرارات أكثر لمصطلح الاستعلام يحصل على درجة أعلى؛ المستند الذي لا يحتوي على أي تكرار يحصل على 0.0؛ مع تساوي تكرار المصطلح، يحصل المستند الأطول على درجة أقل؛ المستندان المتطابقان يحصلان على درجات متطابقة.

هل لاحظت مشكلة في هذا الدرس؟ أبلغ عنها · اسأل عن هذا الدرس

سيفتح هذا التمرين قريبا

أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.