पाठ्यक्रम 250 में से पाठ 237 · प्रोजेक्ट: prompt evaluation CI
प्रोजेक्ट: prompt evaluation CI

LLM-as-judge: rubric + फ़ैसला parse

जैसे ही जवाब खुले होते हैं Exact-match और token-F1 टूट जाते हैं। "इस ticket का सार दो" के हज़ार अच्छे जवाब हैं और कोई अकेली gold स्ट्रिंग नहीं। उद्योग का तरीका LLM-as-judge है: आप एक दूसरे मॉडल से जवाब को एक rubric के सामने पढ़कर फ़ैसला लौटाने को कहते हैं। टीमें बड़े पैमाने पर chatbots, RAG जवाब, और agent प्रतिलिपियाँ ठीक ऐसे ही ग्रेड करती हैं।

यह रही engineering की हक़ीक़त, और वह चीज़ जिसे hiring manager टटोलता है: judge एक भाषा मॉडल है, इसलिए उसका जवाब बिखरा खुला टेक्स्ट है। वह एक बार VERDICT: PASS कह सकता है और अगली बार Final verdict - fail, कभी-कभी पहले तर्क के एक अनुच्छेद के साथ। किसी भी judge ढाँचे का नाज़ुक हिस्सा prompt नहीं, वह parser है जो उस टेक्स्ट से एक साफ़, मशीन से इस्तेमाल होने लायक नतीजा निकालता है। इसलिए इस पाठ में judge नक़ली है (कोई live मॉडल नहीं, कोई network नहीं) और आप उसके चारों ओर के दो निश्चित टुकड़े बनाते हैं: rubric prompt और फ़ैसला parser।

rubric prompt बनाएँ। build_rubric(criteria) मापदंड स्ट्रिंग की सूची लेता है और judge के लिए एक अकेली prompt स्ट्रिंग लौटाता है। इसे:

  • शब्द Rubric रखना होगा ताकि judge काम जाने,
  • हर मापदंड को अपनी पंक्ति पर, 1 से क्रमांकित (1. accuracy, 2. clarity, ...) सूचीबद्ध करना होगा,
  • और judge को सटीक आउटपुट अनुबंध बताकर ख़त्म होना होगा: एक पंक्ति VERDICT: PASS या VERDICT: FAIL और एक पंक्ति SCORE: <0-10>। (आप वह फ़ॉर्मैट परिभाषित कर रहे हैं जो आपका अपना parser पढ़ेगा।)

parser बनाएँ। parse_verdict(judge_text) judge का कच्चा जवाब देखता है और {"verdict": "PASS" or "FAIL", "score": int} लौटाता है। मज़बूती के नियम जो असली judge आउटपुट आप पर थोपता है:

  • छोटे-बड़े अक्षर से स्वतंत्र रहें: pass, PASS, और Pass सबका मतलब PASS है।
  • सिर्फ़ label वाला फ़ैसला गिना जाता है: VERDICT: PASS, verdict = fail, verdict - pass। तर्क में अकेला "pass" फ़ैसला नहीं है: "VERDICT: FAIL. The fix would make it pass." एक FAIL है, और "this does not pass" को कभी PASS नहीं गिनना चाहिए। जब judge कई label वाले फ़ैसले लिखे (उसने अपना मन बदला), तो आख़िरी जीतता है।
  • score 0 से 10 तक की पूर्ण संख्या होना चाहिए, वह दायरा जो आपके rubric ने माँगा। उसके बाहर कुछ भी नज़रअंदाज़ करें ("SCORE: 85" judge का अनुबंध तोड़ना है, बढ़िया जवाब नहीं)। मान्य scores में आख़िरी जीतता है।
  • कुछ मान्य न मिलने पर एक सुरक्षित डिफ़ॉल्ट लौटाएँ: फ़ैसला "FAIL" और score 0। parse न होने वाला judge जवाब कभी चुपचाप पास नहीं गिना जाना चाहिए।

फ़ैसले re.findall(r"\bverdict\b\s*[:=-]?\s*(pass|fail)\b", text, re.I) से और scores re.findall(r"\bscore\b\s*[:=]?\s*(\d+)\b", text, re.I) से ढूँढें, 0 से 10 वाले scores रखें, फिर हर एक का आख़िरी लें। हम सिर्फ़ parser और rubric ग्रेड करते हैं; live judge कॉल इस पाठ में गद्य है, टेस्ट में कभी नहीं चलती। कुछ judge जवाब parse करने के लिए Run दबाएँ।

आपकी बारी

LLM-as-judge ढाँचे का निश्चित आधा बनाएँ (judge नक़ली है)। build_rubric(criteria) लिखें जो ऐसी prompt स्ट्रिंग लौटाए जिसमें Rubric हो, हर मापदंड अपनी पंक्ति पर 1 से क्रमांकित हो, और VERDICT: PASS/FAIL + SCORE: <0-10> आउटपुट अनुबंध बताया हो। parse_verdict(judge_text) लिखें (score SCORE: 7, score=7 या Score 7 के रूप में लिखा हो सकता है) जो {"verdict": "PASS"|"FAIL", "score": int} लौटाए: छोटे-बड़े अक्षर से स्वतंत्र, सिर्फ़ label वाले फ़ैसले (VERDICT: PASS, verdict = fail, verdict - pass) और सिर्फ़ 0 से 10 वाले scores गिनते हुए, हर एक का आख़िरी लेते हुए, और कोई मौजूद न होने पर {"verdict": "FAIL", "score": 0} पर डिफ़ॉल्ट करते हुए।

इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें

यह अभ्यास जल्द खुलेगा

इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।