Hybrid search: reciprocal rank fusion + reranking
BM25 (विरल, शाब्दिक) और embedding cosine (घना, अर्थ वाला) हर एक वह पकड़ता है जो दूसरा चूकता है: BM25 सटीक terms और दुर्लभ codes पकड़ता है, dense retrieval पर्यायवाची वाक्य पकड़ता है। production सिस्टम दोनों चलाते हैं और नतीजे मिलाते हैं। पेच यह है कि उनके scores बिल्कुल अलग पैमानों पर रहते हैं, इसलिए आप उन्हें बस जोड़ नहीं सकते। मानक इलाज है score के बजाय rank से मिलाना।
Reciprocal Rank Fusion (RRF) ठीक यही करता है। हर retriever आपको doc ids की क्रमबद्ध सूची देता है। किसी चीज़ का मिला हुआ score सूचियों पर 1 / (k + rank) का योग है, जहाँ rank उस सूची में उसका 1 से शुरू स्थान है और k एक स्थिरांक है (60 आम डिफ़ॉल्ट है जो rank 1 और 2 के अंतर को नरम करता है):
score(item) = sum over lists of 1 / (k + rank_in_that_list)दोनों सूचियों में ऊपर के पास वाली चीज़ दो बड़े योगदान बटोरती है और जीतती है। जिस चीज़ को सिर्फ़ एक retriever ने ढूँढा उसे भी आंशिक श्रेय मिलता है। फिर मिले score के घटते क्रम में sort करें। दो चीज़ों के बराबर होने पर निश्चितता के लिए item id से बराबरी तोड़ें।
दूसरा चरण reranking है। fusion सस्ता और अनुमानित है; एक cross-encoder query और एक उम्मीदवार को साथ पढ़ता है और सीधे उनकी relevance score करता है, जो कहीं ज़्यादा सटीक है पर पूरे corpus पर चलाने के लिए बहुत धीमा। इसलिए आप उम्मीदवारों की छोटी सूची पाने के लिए fuse करते हैं, फिर बस उन कुछ को महँगे मॉडल से rerank करते हैं। हम यहाँ असली cross-encoder नहीं चला सकते (कोई मॉडल नहीं, कोई GPU नहीं), इसलिए आपको उसका आउटपुट एक score तालिका के रूप में दिया जाता है जो हर उम्मीदवार को उसके relevance score से जोड़ती है, और आप उसके हिसाब से दोबारा sort करते हैं।
संदर्भ के लिए, एक असली reranker कॉल ऐसी दिखती है (ग्रेडिंग में इस्तेमाल नहीं):
# a real cross-encoder, requires a model download and is NOT run here
from sentence_transformers import CrossEncoder
ce = CrossEncoder("cross-encoder/ms-marco-MiniLM-L-6-v2")
scores = ce.predict([(query, doc) for doc in candidates])दो फ़ंक्शन बनाएँ। rrf(rank_lists, k=60) क्रमबद्ध id सूचियों की एक सूची लेता है और मिले ids को RRF score के घटते क्रम में लौटाता है (बराबरी id से टूटती है)। rerank(candidates, score_table) उम्मीदवारों को score_table में उनके score के घटते क्रम में दोबारा sort करके लौटाता है (बराबरी id से टूटती है)।
दो फ़ंक्शन लिखें। rrf(rank_lists, k=60) कई क्रमबद्ध id सूचियाँ मिलाता है: हर चीज़ का score सूचियों पर 1 / (k + rank) का योग है (rank 1 से शुरू स्थान है), और आप चीज़ों को मिले score के घटते क्रम में लौटाते हैं, बराबरी item id से तोड़ते हुए। rerank(candidates, score_table) candidates को score_table[item] के घटते क्रम में दोबारा sort करके लौटाता है, बराबरी id से टूटती है। दोनों इनपुट सूचियों में ऊँची rank वाली चीज़ को fusion जीतना होगा; दो अलग सूची जोड़े मिलाने पर अलग क्रम मिलने चाहिए; rerank को score तालिका से क्रम बदलना होगा; और एक अकेली सूची मिलाने पर वह बिना बदले लौटती है।
इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें
यह अभ्यास जल्द खुलेगा
इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।
यह ब्राउज़र learn.floati.life के लिए कुकी रोक रहा है, इसलिए यहाँ पूरे किए गए पाठ क्रम से नहीं खुल सकते। इस साइट के लिए कुकी की अनुमति दें और फिर से लोड करें।