पाठ्यक्रम 250 में से पाठ 236 · प्रोजेक्ट: prompt evaluation CI
प्रोजेक्ट: prompt evaluation CI

Gold set + scorers

आपने एक नया prompt भेजा और वह बेहतर लगता है। आपके team lead अकेला मायने रखने वाला सवाल पूछते हैं: कितना बेहतर, और आपको कैसे पता? "एहसास" code review में नहीं टिकते। काम एक धुँधले दावे को ऐसी संख्या में बदलना है जिसका आप बचाव कर सकें, और हर prompt-eval ढाँचे की नींव एक gold set (अपने ज्ञात-सही जवाबों से जुड़े इनपुट की सूची) और एक scorer (एक फ़ंक्शन जो बताता है कि मॉडल का जवाब gold जवाब के कितना पास है) है।

यह तीन-भाग वाले प्रोजेक्ट का पाठ 1 है। मॉड्यूल के अंत तक आपके पास एक CI regression द्वार वाला असली prompt-evaluation ढाँचा होगा -> वह चीज़ जिसे एक hiring manager resume पर "built a prompt-eval harness + regression gate" के रूप में देखता है और तुरंत जानता है कि आप LLM features ज़िम्मेदारी से भेज सकते हैं। आज आप मापने का डंडा बनाते हैं: तीन scorers और वह runner जो एक को पूरे gold set पर लगाता है।

दायरे पर एक ईमानदार बात: आप यहाँ जो ढाँचा और regression-द्वार तर्क बनाते हैं वह असली और ले जाने लायक है, पर judge मॉडल नक़ली है और यहाँ "accuracy" exact-match है। एक असली प्रोजेक्ट पर आप यही टुकड़े एक live judge मॉडल और ज़्यादा समृद्ध scorers से जोड़ेंगे।

अलग कामों को अलग scorers चाहिए, इसलिए आप तीन बनाते हैं:

  • score_exact(pred, gold) -> दोनों पर .strip() के बाद अनुमान gold जवाब के बराबर हो तो 1.0, नहीं तो 0.0। यह classifier ("positive" बनाम "negative") के लिए सही है जहाँ सिर्फ़ सटीक मिलान गिना जाता है।
  • score_contains(pred, gold) -> gold स्ट्रिंग अनुमान के अंदर कहीं आए तो 1.0 (छोटे-बड़े अक्षर से स्वतंत्र, दोनों strip किए), नहीं तो 0.0। "क्या जवाब ने मुख्य तथ्य बताया?" वाली जाँचों के लिए अच्छा जहाँ अतिरिक्त शब्द ठीक हैं।
  • token_f1(pred, gold) -> शब्द overlap पर आधारित [0.0, 1.0] में एक आंशिक-श्रेय score, खुले टेक्स्ट वाले जवाबों का मेहनती औज़ार जहाँ क़रीबी चूक पूरी चूक से बेहतर होनी चाहिए।

token F1 कैसे काम करता है। दोनों स्ट्रिंग छोटे अक्षरों में करके शब्द tokens में split करें। गिनें कि वे कितने tokens साझा करते हैं, दोहराव का सम्मान करते हुए (token सूचियों को multisets मानें, इसलिए collections.Counter और उसका & intersection आपके दोस्त हैं)। फिर:

overlap   = sum((Counter(pred_tokens) & Counter(gold_tokens)).values())
precision = overlap / len(pred_tokens)   # of the words I said, how many were right?
recall    = overlap / len(gold_tokens)   # of the words I should have said, how many did I?
f1        = 2 * precision * recall / (precision + recall)

हल किया उदाहरण: pred="the quick brown fox", gold="the lazy brown dog"। वे the और brown साझा करते हैं -> overlap 2। precision 2/4 है, recall 2/4 है, इसलिए F1 0.5 है। किनारों पर ध्यान दें: अगर किसी भी तरफ़ शून्य tokens हैं, या overlap शून्य है, तो F1 0.0 है (कभी शून्य से भाग न दें)।

आख़िर में वह runner जो एक scorer को एक evaluation में बदलता है:

  • run_suite(predictions, golds, scorer) -> हर (pred, gold) जोड़े को दिए scorer फ़ंक्शन से score करें और {"score": mean_score, "per_case": [list of each case's score]} लौटाएँ। ख़ाली suite पर औसत 0.0 है।

scorer को अंदर देना (उसे hardcode करने के बजाय) वह बनावट है जो एक ढाँचे को exact-match classifiers और खुले टेक्स्ट वाले जवाब दोनों ग्रेड करने देती है। एक छोटे gold set को तीन अलग तरीकों से score करने के लिए Run दबाएँ।

आपकी बारी

एक prompt-eval ढाँचे का scoring केंद्र बनाएँ। score_exact(pred, gold) (strip किए सटीक मिलान पर 1.0 नहीं तो 0.0), score_contains(pred, gold) (strip किया, छोटे अक्षरों वाला gold अनुमान का टुकड़ा हो तो 1.0 नहीं तो 0.0), और token_f1(pred, gold) (छोटे अक्षरों वाले शब्द tokens पर token-overlap F1, किसी भी तरफ़ ख़ाली होने या कोई overlap न होने पर 0.0) लिखें। फिर run_suite(predictions, golds, scorer) लिखें जो {"score": mean, "per_case": [scores]} लौटाए (ख़ाली suite पर औसत 0.0)।

इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें

यह अभ्यास जल्द खुलेगा

इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।