LLM-as-judge (rubric बनाना + फ़ैसला parse करना)
Exact-match, F1, और ROUGE सबको तुलना के लिए एक gold जवाब चाहिए। पर खुले आउटपुट के लिए, "क्या यह समझाना साफ़ था?", "क्या लहजा पेशेवर था?", कोई अकेली सही स्ट्रिंग नहीं होती। उद्योग जिस बड़े पैमाने वाले जवाब पर टिका वह LLM-as-judge है: आप एक दूसरे मॉडल को जवाब और एक rubric देते हैं और उससे हर मापदंड को score करने को कहते हैं। अच्छी तरह बताए rubric पर यह अक्सर इंसानी परखने वालों से 80-90% सहमति के दायरे में आता है, पर यह काम के हिसाब से बहुत बदलता है और बारीक या विरोधी मामलों पर तेज़ी से गिर सकता है, इसलिए किसी भी अकेली संख्या को नियम नहीं, काम-विशेष मानें। फिर भी यह आमतौर पर हर रात हज़ारों आउटपुट पर चलाने लायक एकरूप होता है, जब तक आप समय-समय पर इंसानी labels से इसकी जाँच करते रहें।
यह रहा ईमानदार हिस्सा, और वजह कि यह पाठ ग्रेड होने लायक क्यों है। judge का असली scoring एक मॉडल कॉल है, और मॉडल कॉल अनिश्चित हैं, इसलिए हम उन्हें कभी ग्रेड नहीं करते। आप जो engineer करते हैं, और जिस पर ग्रेड होते हैं, वह कॉल के चारों ओर का निश्चित ढाँचा है: judge prompt बनाना और फ़ैसले को वापस parse करना। production में बीच का क़दम एक असली कॉल है:
# the ONE non-deterministic step (shown, not graded):
verdict = call_model(build_judge_prompt(answer, rubric))
scores = parse_judge_scores(verdict)इस कोर्स का on-device WebLLM ब्राउज़र में live judge बन सकता है, पर टेस्ट कभी उस पर निर्भर नहीं होते। वे आपका बनाया prompt और लिखा parser जाँचते हैं।
prompt को judge को बाँधना होगा: role बताएँ, rubric मापदंड क्रमांक के साथ सूचीबद्ध करें, जवाब दिखाएँ, और मशीन से पढ़ा जाने वाला फ़ैसला माँगें ताकि आप उसे parse कर सकें। मानक तरकीब है हर मापदंड की एक पंक्ति एक तय आकार में मजबूर करना, यहाँ score: N/5:
You are a strict grader. Score the answer against the rubric.
RUBRIC:
1. Is it factually correct?
2. Is it concise?
ANSWER:
<the answer text>
For each rubric item, reply on its own line as 'score: N/5'.फिर parse करना हर score: N/5 पंक्ति (छोटे-बड़े अक्षर से स्वतंत्र) के लिए एक regex छानबीन है, पूर्णांक निकालते हुए। जोड़ना scores की सूची को एक औसत और एक pass-rate में बदलता है: सीमा पर या उससे ऊपर के scores का हिस्सा। pass-rate वह है जिस पर आप चेतावनी देते हैं; batch में एक बुरा जवाब शोर है, खिसकता pass-rate एक regression है।
क्या बनाना है।
build_judge_prompt(answer, rubric)-> एक prompt स्ट्रिंग जिसमें हर क्रमांकित rubric चीज़, जवाब, और एकscore: N/5निर्देश हो।parse_judge_scores(text)-> हरscore: N/5पंक्ति के पूर्णांकों की सूची, क्रम से, छोटे-बड़े अक्षर से स्वतंत्र।aggregate(scores, threshold=3)->{"mean", "pass_rate"}(दोनों 4 दशमलव तकround); ख़ाली सूची शून्य लौटाती है।
एक judge prompt बनाने, एक नमूना फ़ैसला parse करने, और जोड़ने के लिए Run दबाएँ।
build_judge_prompt(answer, rubric) लिखें जो ऐसी prompt स्ट्रिंग लौटाए जिसमें हर क्रमांकित rubric चीज़, जवाब का टेक्स्ट, और हर चीज़ पर score: N/5 जवाब देने का निर्देश हो। parse_judge_scores(text) लिखें जो हर score: N/5 पंक्ति के पूर्णांकों की सूची क्रम से लौटाए (छोटे-बड़े अक्षर से स्वतंत्र)। aggregate(scores, threshold=3) लिखें जो 4 दशमलव तक गोल {'mean', 'pass_rate'} लौटाए, जहाँ pass_rate scores का वह हिस्सा है जो >= threshold है और ख़ाली सूची शून्य लौटाती है।
इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें
यह अभ्यास जल्द खुलेगा
इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।
यह ब्राउज़र learn.floati.life के लिए कुकी रोक रहा है, इसलिए यहाँ पूरे किए गए पाठ क्रम से नहीं खुल सकते। इस साइट के लिए कुकी की अनुमति दें और फिर से लोड करें।