NDCG@k: दर्जे वाली relevance
Precision, recall, और MRR सब relevance को हाँ/ना वाला निशान मानते हैं। पर असली relevance में दर्जे होते हैं: एक दस्तावेज़ एकदम सही, कुछ काम का, या विषय से बाहर हो सकता है। NDCG (Normalized Discounted Cumulative Gain) दर्जे वाली relevance का metric है, और बड़ी search और recommendation टीमें असल में यही बताती हैं।
इसमें तीन विचार एक के ऊपर एक हैं। पहला, gain: हर नतीजा एक relevance score रखता है (मान लें 3 = एकदम सही, 1 = हाशिये वाला, 0 = असंबंधित)। दूसरा, स्थान के हिसाब से एक discount, क्योंकि rank 10 पर दबा बढ़िया नतीजा rank 1 वाले से कम मदद करता है। Discounted Cumulative Gain हर नतीजे के gain को log2(position + 1) से भाग देकर जोड़ता है:
DCG = sum( rel_i / log2(i + 1) ) for i = 1, 2, 3, ...स्थान 1 पर भाजक log2(2) = 1 है (कोई discount नहीं); स्थान 2 पर log2(3); और इसी तरह, इसलिए बाद के स्थान लगातार कम क़ीमत के हैं। तीसरा, normalization: DCG अकेला असीमित है और queries के बीच तुलना करना कठिन, इसलिए आदर्श DCG (IDCG) से भाग दें, वह DCG जो उन्हीं relevance scores को सबसे अच्छे से सबसे बुरे तक sort करने पर मिलता।
NDCG@k = DCG(top k) / DCG(ideal ordering of the same scores, top k)इससे हर query 0.0 से 1.0 के पैमाने पर आती है जहाँ 1.0 का मतलब है "पहले से सबसे अच्छे संभव क्रम में।" उलटी ranking सख़्ती से 1.0 से नीचे score करती है; सब-शून्य (कुछ relevant नहीं) ranking 0.0 परिभाषित है।
क्या बनाना है।
dcg(rels)-> relevance scores की सूची का discounted cumulative gain,math.log2(i + 1)इस्तेमाल करके जहाँi1 से शुरू है।ndcg_at_k(ranked_rels, k)-> topkकाdcgभाग उन्हीं scores को घटते क्रम में sort करके (आदर्श) topkकाdcg। अगर आदर्श DCG0है, तो शून्य से भाग देने के बजाय0.0लौटाएँ।
एक हाथ से जाँचें: dcg([3, 0, 2]) है 3/log2(2) + 0/log2(3) + 2/log2(4) = 3 + 0 + 1 = 4.0। पूर्ण क्रम की तुलना उलटे क्रम से करने के लिए Run दबाएँ।
dcg(rels) लिखें जो 1 से गिने स्थानों i के साथ discounted cumulative gain sum(rel_i / log2(i + 1)) लौटाए। फिर ndcg_at_k(ranked_rels, k, ideal_rels=None) लिखें जो top k का dcg आदर्श DCG से भाग देकर लौटाए: हर परखे गए दस्तावेज़ के relevance scores, घटते क्रम में sort, top k। ये ideal_rels दिए जाने पर उससे आते हैं; जब वह None हो, तो ख़ुद ranked_rels इस्तेमाल करें (सिर्फ़ तब ठीक जब ranking में पहले से हर relevant दस्तावेज़ हो)। आदर्श को सिर्फ़ लाई सूची से लेना एक क्लासिक बग है: 3 में से 1 relevant दस्तावेज़ rank 1 पर ढूँढने वाला सिस्टम पूर्ण 1.0 लाता। आदर्श DCG 0 होने पर 0.0 लौटाएँ ताकि सब-शून्य ranking शून्य से भाग न दे।
इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें
यह अभ्यास जल्द खुलेगा
इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।
यह ब्राउज़र learn.floati.life के लिए कुकी रोक रहा है, इसलिए यहाँ पूरे किए गए पाठ क्रम से नहीं खुल सकते। इस साइट के लिए कुकी की अनुमति दें और फिर से लोड करें।