पाठ्यक्रम 250 में से पाठ 164 · RAG और retrieval को परखना
RAG और retrieval को परखना

कैपस्टोन: एक retrieval eval रिपोर्ट

आपके पास चार metrics हैं। अब उन्हें उस चीज़ में जोड़ें जो एक engineer असल में भेजता है: एक retrieval eval रिपोर्ट जो एक labelled query set को retriever से गुज़ारती है और एक scorecard लौटाती है। यह "एक RAG pipeline बनाई और परखी" वाली resume पंक्ति के पीछे का काम है, और यही आपको "यह बेहतर लगता है" के बजाय "नए retriever ने MRR को 0.62 से 1.0 तक उठाया" कहने देता है।

ढाँचे के तीन चलने वाले हिस्से हैं। एक eval set मामलों की सूची है, हर एक {"query": "refund policy", "relevant": {"d_refund"}} जैसी dict। एक retriever कोई भी callable retriever(query, k) है जो doc IDs की क्रमबद्ध सूची लौटाता है (आप इसे अंदर देते हैं, ताकि वही रिपोर्ट BM25 baseline, dense retriever, या hybrid को ग्रेड कर सके)। और रिपोर्ट हर query को चारों metrics पर score करती है, फिर जोड़ती है।

def evaluate_retrieval(eval_set, retriever, k):
    rows = []
    failures = []
    for case in eval_set:
        retrieved = retriever(case["query"], k)
        # score this query: P@k, R@k, RR, NDCG@k
        # if the reciprocal rank is 0.0, the retriever missed -> record a failure
        ...
    # roll rows into a pandas DataFrame, then return the means + the frame + failures
    ...

लाए IDs पर NDCG के लिए ranking को सादे तरीके से दर्जे वाली relevance में बदलें: कोई दस्तावेज़ relevant set में हो तो 1, नहीं तो 0। अपने बनाए फ़ंक्शन दोबारा इस्तेमाल करें: precision_at_k, recall_at_k, reciprocal_rank, dcg, और ndcg_at_k।

क्या बनाना है। evaluate_retrieval(eval_set, retriever, k) जो एक dict लौटाए जिसमें:

  • mean_precision_at_k, mean_recall_at_k, mrr, mean_ndcg_at_k -> queries पर हर metric का औसत, हर एक 4 दशमलव तक round किया।
  • per_query -> एक pandas.DataFrame, हर query की एक पंक्ति, उस query के metrics के साथ (ताकि आप देख सकें कौन-सी query डूबी)।
  • failures -> उन queries की सूची जिनकी reciprocal rank 0.0 थी (retriever कुछ relevant नहीं लाया)। यह आपकी debugging की काम-सूची है।

ग्रेडर जोड़ी गई संख्याओं को हाथ से निकाले मानों से जाँचता है, पक्का करता है कि failure सूची में छूटी query का नाम है, और साबित करता है कि एक बेहतर retriever सख़्ती से ऊँचा score करता है -> वह रिश्ते वाली जाँच जिसे कोई स्थिरांक नक़ली नहीं बना सकता। एक पूरे सिस्टम में अब एक मॉडल जीतने वाले retriever के लौटाए chunks से जवाब देता, पर वह generation क़दम pipeline का दूसरा हिस्सा है; यहाँ आप retrieval को अकेले ग्रेड कर रहे हैं। एक scorecard print करने के लिए Run दबाएँ।

आपकी बारी

evaluate_retrieval(eval_set, retriever, k) लिखें। eval_set {"query", "relevant"} dicts की सूची है; retriever(query, k) doc IDs की क्रमबद्ध सूची लौटाता है। हर query के लिए precision_at_k, recall_at_k, reciprocal_rank, और ndcg_at_k score करें (लाए दस्तावेज़ को relevant set में होने पर relevance 1, नहीं तो 0 मानें, और आदर्श पूरे relevant set से बनाएँ: हर relevant दस्तावेज़ का एक 1)। mean_precision_at_k, mean_recall_at_k, mrr, mean_ndcg_at_k (हर एक 4 दशमलव तक गोल), एक per_query pandas DataFrame (हर query की एक पंक्ति), और हर उस query की failures सूची जिसकी reciprocal rank 0.0 थी, वाली dict लौटाएँ।

इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें

यह अभ्यास जल्द खुलेगा

इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।