पाठ्यक्रम 250 में से पाठ 148 · शुरू से embeddings और semantic search
शुरू से embeddings और semantic search

BM25: विरल शाब्दिक ranking

TF-IDF एक बढ़िया baseline है, पर जो ranking फ़ंक्शन असल में search engines और आधुनिक hybrid retrieval के शाब्दिक आधे हिस्से को चलाता है वह BM25 है। यह TF-IDF की सहज समझ रखता है (दुर्लभ terms मायने रखते हैं, दोहराए terms मायने रखते हैं) पर tune करने लायक knobs से उसकी दो कमियाँ ठीक करता है।

किसी दस्तावेज़ में एक query term के लिए BM25 यह योगदान देता है:

idf(term) * ( tf * (k1 + 1) ) / ( tf + k1 * (1 - b + b * dl / avgdl) )

जहाँ tf है कि term दस्तावेज़ में कितनी बार आता है, dl दस्तावेज़ की लंबाई है, और avgdl औसत दस्तावेज़ लंबाई है। दस्तावेज़ का score सभी query terms का योग है। तीन टुकड़े काम करते हैं:

  • BM25 smoothing के साथ IDF: idf = log(1 + (N - n + 0.5) / (n + 0.5)), जहाँ N दस्तावेज़ों की संख्या है और n है कि कितने दस्तावेज़ों में term है। + 1 इसे ऋणात्मक होने से रोकता है।
  • k1 (डिफ़ॉल्ट 1.5) से term-frequency की संतृप्ति: किसी शब्द का 10वाँ आना दूसरे से कहीं कम जोड़ता है। कच्चा TF-IDF हमेशा सीधे बढ़ता रहता है; BM25 सपाट हो जाता है।
  • b (डिफ़ॉल्ट 0.75) से लंबाई का normalization: लंबे दस्तावेज़ से बस लंबा होने के कारण term ज़्यादा बार रखने की उम्मीद होती है, इसलिए उसके score पर discount लगता है। एक ही tf वाले दो दस्तावेज़ों में छोटा ऊँचा rank होता है।

जो term किसी भी दस्तावेज़ में नहीं आता वह कुछ योगदान नहीं देता, और हर query term से ख़ाली दस्तावेज़ ठीक 0.0 score करता है। वह शून्य बोझ उठाता है: इसी से आपको पता चलता है कि दस्तावेज़ असंबंधित है।

आप tokenize किए दस्तावेज़ों (शब्दों की सूचियों) पर काम करेंगे ताकि ध्यान गणित पर हो, tokenization पर नहीं। math.log (natural log) इस्तेमाल करें; आधार सभी scores को बस एक स्थिरांक से बड़ा-छोटा करता है और ranking नहीं बदलता।

बनाएँ bm25_scores(query, corpus_tokens, k1=1.5, b=0.75) जहाँ query query terms की सूची है और corpus_tokens tokenize किए दस्तावेज़ों की सूची। BM25 scores की सूची लौटाएँ, हर दस्तावेज़ का एक, corpus क्रम में।

आपकी बारी

bm25_scores(query, corpus_tokens, k1=1.5, b=0.75) लिखें जो BM25 ranking फ़ंक्शन लागू करे। query terms की सूची है; corpus_tokens tokenize किए दस्तावेज़ों की सूची है (हर एक शब्दों की सूची)। हर दस्तावेज़ के लिए अनोखे query terms पर जोड़ें: idf * tf * (k1 + 1) / (tf + k1 * (1 - b + b * dl / avgdl)), जहाँ idf = log(1 + (N - n + 0.5) / (n + 0.5))। corpus क्रम में scores की सूची लौटाएँ। किसी query term के ज़्यादा बार आने वाला दस्तावेज़ ऊँचा score करता है; बिना किसी वाला 0.0 score करता है; बराबर term frequency पर लंबा दस्तावेज़ कम score करता है; दो एक जैसे दस्तावेज़ एक जैसा score करते हैं।

इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें

यह अभ्यास जल्द खुलेगा

इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।