पाठ्यक्रम 250 में से पाठ 216 · प्रोजेक्ट: ग्राहक support copilot
प्रोजेक्ट: ग्राहक support copilot

सहायक को परखें (P@k + जवाब accuracy + द्वार)

यह वह पाठ है जो आपकी resume पंक्ति का दूसरा आधा कमाता है: और परखा। कोई भी एक RAG demo जोड़ सकता है। एक junior को उस व्यक्ति से जो अलग करता है जिसे आप production सहायक सँभालने के लिए रखेंगे, वह है उसे मापने की और एक बुरे बदलाव को भेजे जाने से रोकने की क्षमता। आप evaluation ढाँचा और regression द्वार बनाएँगे।

आप एक gold set के सामने परखते हैं: एक छोटी labelled सूची जहाँ हर मामले में एक query, relevant लेखों के ids, और अपेक्षित जवाब टेक्स्ट है। metric के दो परिवार:

  • retrieval की गुणवत्ता -- precision_at_k: आपके retriever के लौटाए top-k ids में से कितना हिस्सा relevant है। यह बताता है कि bot सही लेखों को देख भी रहा है या नहीं।
  • जवाब की गुणवत्ता -- अपेक्षित टेक्स्ट के सामने बने जवाब की accuracy, दो modes में: contains (अपेक्षित टुकड़ा जवाब में आता है, छोटे-बड़े अक्षर से स्वतंत्र) और exact (एक काटा सटीक मिलान)। खुले टेक्स्ट वाले जवाबों के लिए contains उदार, असली वाला है।

ये बनाएँ:

precision_at_k(retrieved, relevant, k)
answer_accuracy(predicted, expected, mode)
evaluate(config)            # -> a metrics dict over the whole gold set
regression_gate(old, new)   # -> True if safe to ship, False if it regressed

precision_at_k: पहले k लाए ids का वह हिस्सा जो relevant set में है; ख़ाली retrieval के लिए 0.0। answer_accuracy: एक अनुमान के लिए 1.0 या 0.0, mode का सम्मान करते हुए।

evaluate(config) इसे बाँधता है। config dict में gold सूची, एक retriever फ़ंक्शन (query -> क्रमबद्ध ids), एक answerer फ़ंक्शन (query -> टेक्स्ट), और सेटिंग k और mode हैं। हर gold मामला चलाएँ और कम से कम n (score किए मामले), precision_at_k (मामलों पर औसत, 4 दशमलव तक गोल), और answer_accuracy (औसत, 4 तक गोल) वाली dict लौटाएँ। एक ख़ाली gold set को क्रैश नहीं करना चाहिए -- शून्य लौटाएँ।

regression_gate(old, new) वह CI पहरेदार है जो आप एक pull request में जोड़ेंगे: True सिर्फ़ तब लौटाएँ जब नया दौर द्वार वाले metric (डिफ़ॉल्ट रूप से answer_accuracy) पर बुरा न हुआ हो -- बराबर या बेहतर ठीक है, गिरावट False लौटाती है। असली ज़िंदगी में यही चीज़ एक prompt बदलाव को चुपचाप गुणवत्ता गिराने से रोकती है। एक पूर्ण bot और एक टूटे को score करने और द्वार को गिरावट रोकते देखने के लिए Run दबाएँ।

आपकी बारी

एक labelled gold set पर evaluation ढाँचा बनाएँ। retrieval के लिए precision_at_k(retrieved, relevant, k) और जवाबों के लिए answer_accuracy(predicted, expected, mode) (contains / exact)। evaluate(config) gold set चलाता है (retriever और answerer फ़ंक्शनों, k, mode के साथ) और औसतों की metrics dict (n, precision_at_k, answer_accuracy) लौटाता है, ख़ाली पर सुरक्षित। regression_gate(old, new) True सिर्फ़ तब लौटाता है जब जवाब accuracy न गिरी हो।

इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें

यह अभ्यास जल्द खुलेगा

इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।