पाठ्यक्रम 250 में से पाठ 166 · LLM evals और टेस्टिंग
LLM evals और टेस्टिंग

Assertion-आधारित evals (exact-match और contains)

आपने prompt बदला और आउटपुट "बेहतर लगता है।" वह एहसास कोई नतीजा नहीं है। eval का काम उसे एक ऐसी संख्या से बदलना है जिसे आप pull request में रख सकें: यह prompt gold set पर 0.86 लाता है, पुराना 0.74 लाता था। किसी भी फ़ैंसी चीज़ की ओर हाथ बढ़ाने से पहले, मेहनती eval सबसे सस्ता वाला है: ज्ञात-सही जवाबों वाले इनपुट का labelled set लें, अपना सिस्टम चलाएँ, और गिनें कि उसने कितने सही किए।

पेच यह तय करना है कि "सही" का मतलब क्या है। एक LLM लगभग कभी gold स्ट्रिंग को byte दर byte नहीं लौटाता। वह एक पूर्णविराम जोड़ता है, किसी शब्द को बड़े अक्षर से लिखता है, जवाब को एक वाक्य में लपेटता है। इसलिए आप एक match mode चुनते हैं:

  • exact -> सामान्य करने के बाद (छोटे अक्षर, आसपास की ख़ाली जगह हटाना) अनुमान gold जवाब के बराबर है। इसे छोटे, बंद जवाबों के लिए इस्तेमाल करें: एक label, हाँ/ना, एक शहर।
  • contains -> gold जवाब अनुमान के अंदर कहीं आता है। इसे तब इस्तेमाल करें जब मॉडल को बातूनी होने की छूट हो: gold paris के लिए "The capital is Paris." फिर भी सही गिना जाना चाहिए।

सामान्य करना मायने रखता है। इसके बिना "Paris" और "paris" चूक गिने जाते हैं और आपका eval आपसे झूठ बोलता है। एक तुलना का आकार यह है:

def score_one(pred, gold, mode):
    p = pred.strip().lower()
    g = gold.strip().lower()
    if mode == "exact":
        return 1.0 if p == g else 0.0
    if mode == "contains":
        return 1.0 if g in p else 0.0
    raise ValueError("unknown mode: " + mode)

फिर accuracy बस उन हर-उदाहरण scores का औसत है। एक असली ढाँचे में predictions एक live मॉडल कॉल से आते हैं; यहाँ आपको scoring गणित पर ग्रेड किया जाता है, जो वह हिस्सा है जिसे ठीक-ठीक सही होना है। सुरक्षा का ध्यान रखने वाले हर ढाँचे में दो और जाँचें होती हैं: एक allow-list (हर आउटपुट labels के तय set में से एक होना चाहिए) और एक forbidden-pattern जाँच (किसी आउटपुट में "as an AI" जैसा प्रतिबंधित वाक्यांश नहीं होना चाहिए)।

क्या बनाना है।

  • evaluate(predictions, gold, mode) -> दो समानांतर सूचियों पर exact-या-contains score का औसत, 4 दशमलव तक round किया। ख़ाली सूची 0.0 लौटाती है, कभी क्रैश नहीं। अनजान mode पर ValueError उठाएँ।
  • label_in_set(outputs, allowed) -> {"passed", "failed"} जो गिनता है कि कितने काटे आउटपुट allowed set में हैं।
  • has_forbidden(text, patterns) -> True अगर patterns का कोई regex text में मिलता है।

दोनों modes में एक gold set को score करने के लिए Run दबाएँ।

आपकी बारी

evaluate(predictions, gold, mode) लिखें जो दो समानांतर सूचियों पर औसत score लौटाए, जहाँ mode है 'exact' (सामान्य की हुई बराबरी) या 'contains' (gold अनुमान के अंदर आता है); strip().lower() से सामान्य करें, accuracy को 4 दशमलव तक round करें, ख़ाली set पर 0.0 लौटाएँ, और अनजान mode पर ValueError उठाएँ। साथ में label_in_set(outputs, allowed) -> {'passed', 'failed'} लिखें जो काटे आउटपुट को allowed set के सामने गिने, और has_forbidden(text, patterns) -> True अगर कोई regex पैटर्न text में मिले, अक्षर रूप नज़रअंदाज़ करते हुए (ताकि as an ai "As an AI" भी पकड़े)।

इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें

यह अभ्यास जल्द खुलेगा

इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।