Mean Reciprocal Rank
Precision और recall top k को एक थैला मानते हैं: स्थान 1 पर relevant दस्तावेज़ स्थान 5 वाले जितना ही गिना जाता है। पर rank मायने रखती है। उपयोगकर्ता ऊपर से पढ़ता है, और एक RAG prompt आमतौर पर पहले chunk पर सबसे ज़्यादा टिकता है। Mean Reciprocal Rank (MRR) relevant नतीजा ऊपर लाने को इनाम देता है।
एक अकेली query के लिए reciprocal rank है 1 / (rank of the first relevant doc) (पहले relevant दस्तावेज़ की rank), ranks 1 से गिनते हुए। अगर पहला relevant दस्तावेज़ स्थान 1 पर है तो आपको 1.0 मिलता है; स्थान 2 पर 0.5; स्थान 3 पर 1/3। अगर कोई relevant दस्तावेज़ आता ही नहीं, तो score 0.0 है। सिर्फ़ पहला मिलान मायने रखता है, जो "क्या जवाब वहाँ दिखा जहाँ उपयोगकर्ता (या मॉडल) देखेगा?" के लिए ठीक सही मॉडल है।
retrieved = ["a", "b", "c"], relevant = {"b"}
# first relevant doc is "b" at rank 2 -> reciprocal rank = 1/2 = 0.5MRR बस queries के पूरे set पर उन reciprocal ranks का औसत है। 1.0 और 0.5 लाने वाली दो queries 0.75 का MRR देती हैं। यह सवाल-जवाब वाले retrieval की मानक मुख्य संख्या है, जहाँ हर query का आमतौर पर एक सही जवाब होता है जिसे आप सबसे पहले दिखाना चाहते हैं।
क्या बनाना है।
reciprocal_rank(retrieved, relevant)-> क्रमबद्ध सूची पर चलें, और जैसे हीrelevantका कोई दस्तावेज़ मिले1.0 / rankलौटाएँ (ranks 1 से शुरू)। कभी न मिले तो0.0लौटाएँ।mrr(queries)->queries(retrieved, relevant)जोड़ों की सूची है; हर जोड़े की reciprocal rank का औसत लें। ख़ाली सूची0.0लौटाती है, क्रैश नहीं।
enumerate(retrieved, start=1) इस्तेमाल करें ताकि index पहले से rank हो। दो queries को score करने और औसत देखने के लिए Run दबाएँ।
reciprocal_rank(retrieved, relevant) लिखें जो 1 से गिनी ranks के साथ 1.0 / (rank of the first relevant doc) (पहले relevant दस्तावेज़ की rank) लौटाए, या कोई relevant दस्तावेज़ न आने पर 0.0। फिर mrr(queries) लिखें जहाँ queries (retrieved, relevant) जोड़ों की सूची है, जो उनकी reciprocal ranks का औसत लौटाए (और ख़ाली सूची के लिए 0.0)।
इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें
यह अभ्यास जल्द खुलेगा
इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।
यह ब्राउज़र learn.floati.life के लिए कुकी रोक रहा है, इसलिए यहाँ पूरे किए गए पाठ क्रम से नहीं खुल सकते। इस साइट के लिए कुकी की अनुमति दें और फिर से लोड करें।