पाठ्यक्रम 250 में से पाठ 161 · RAG और retrieval को परखना
RAG और retrieval को परखना

Precision@k और Recall@k

एक भी prompt tune करने से पहले एक कठिन सवाल का जवाब दें: क्या retriever सही दस्तावेज़ ढूँढ भी रहा है? एक RAG सिस्टम के दो हिस्से हैं, retrieval और generation, और वे अलग तरीकों से विफल होते हैं। अगर ग़लत chunks वापस आते हैं, तो prompt को कितना भी चमकाना आपको नहीं बचाएगा। इसलिए हम retrieval को अकेले मापते हैं, हर query के लिए relevant दस्तावेज़ों के labelled set के सामने, उन दो संख्याओं से जो हर search engineer को ज़ुबानी याद हैं।

Precision@k पूछता है: मेरे लौटाए top k दस्तावेज़ों में से कितना हिस्सा सचमुच relevant था? यह "मैंने उपयोगकर्ता को कितना कचरा दिखाया" वाला metric है।

precision@k = (relevant docs in the top k) / (number of docs in the top k)

Recall@k उल्टा पूछता है: जो दस्तावेज़ relevant थे उन सबमें से कितना हिस्सा मैं top k में ला पाया? यह "मैंने कितना चूका" वाला metric है।

recall@k = (relevant docs in the top k) / (total number of relevant docs)

एक ठोस उदाहरण लें। आप ["a", "b", "c"] लाते हैं और relevant set {"a", "c"} है। k=3 पर लौटाए तीन में से दो दस्तावेज़ relevant हैं, इसलिए precision 2/3 है। दोनों relevant दस्तावेज़ मिले, इसलिए recall 1.0 है। दोनों तनाव में चलते हैं: k बढ़ाएँ तो recall चढ़ता है जबकि precision आमतौर पर गिरती है।

क्या बनाना है। दो शुद्ध फ़ंक्शन:

  • precision_at_k(retrieved, relevant, k) -> top k लाए IDs का वह हिस्सा जो relevant में है। उससे भाग दें जितने दस्तावेज़ top k में असल में आपके पास हैं (ताकि छोटी सूची या बड़ा k कभी ग़लत संख्या से भाग न दे)।
  • recall_at_k(retrieved, relevant, k) -> top k में पकड़ा गया relevant का हिस्सा, len(relevant) से भाग देकर।

उन किनारों पर ध्यान दें जिन्हें टेस्ट टटोलते हैं: लाई सूची से बड़ा k, और एक ख़ाली relevant set (0.0 लौटाएँ, कभी शून्य से भाग न दें)। तेज़ सदस्यता जाँच के लिए relevant को एक set मानें। एक असली ढाँचे में आप इन्हें अपने vector store का आउटपुट देंगे; यहाँ ये सीधे labelled सूचियों पर ग्रेड होते हैं।

दायरे पर एक बात: यह मॉड्यूल Precision@k, Recall@k, MRR, और NDCG सिखाता है। search टीमें अक्सर MAP (mean average precision) भी बताती हैं, जो query set में हर relevant मिलान पर मापी precision का औसत लेता है; यहाँ के चार metrics सबसे आम शुरुआती बिंदु हैं।

एक ranking को score करने के लिए Run दबाएँ।

आपकी बारी

precision_at_k(retrieved, relevant, k) (top k लाए IDs का वह हिस्सा जो relevant set में है, top k में असल में मौजूद दस्तावेज़ों की संख्या से भाग देकर) और recall_at_k(retrieved, relevant, k) (top k में पकड़ा गया relevant set का हिस्सा, len(relevant) से भाग देकर) लिखें। दोनों को ख़ाली किनारों (ख़ाली retrieval, ख़ाली relevant set) पर क्रैश होने के बजाय 0.0 लौटाना होगा।

इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें

यह अभ्यास जल्द खुलेगा

इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।