पाठ्यक्रम 250 में से पाठ 238 · प्रोजेक्ट: prompt evaluation CI
प्रोजेक्ट: prompt evaluation CI

regression द्वार

यह अंतिम पड़ाव है, और आपके resume की पंक्ति: एक prompt-eval ढाँचा + regression द्वार बनाया। आपके पास scorers (पाठ 1) और एक judge parser (पाठ 2) हैं। अब आप वह टुकड़ा जोड़ते हैं जो इसे CI बनाता है: एक द्वार जो हर prompt बदलाव पर चलता है और गुणवत्ता गिरने पर merge रोकता है। यही किसी साथी के "छोटे बदलाव" को production में चुपचाप accuracy गिराने से रोकता है -> वह स्वचालित समीक्षक जो कभी नहीं थकता।

मॉडल: आपके पास एक gold set है, और एक prompt के दो वर्ज़न जिनमें से हर एक उस set पर अनुमानों की एक सूची बनाता है। यहाँ accuracy बस उन अनुमानों का हिस्सा है जो gold जवाब (strip किए) से ठीक मेल खाते हैं। पहले, दोनों की तुलना करें:

  • compare(v1_preds, v2_preds, golds) -> {"v1": acc1, "v2": acc2, "delta": acc2 - acc1}, जहाँ हर accuracy golds के सामने exact-match दर है और delta है कि v2 v1 के सापेक्ष कितना खिसका। धनात्मक delta मतलब candidate सुधरा; ऋणात्मक मतलब गिरा।

फिर द्वार ख़ुद। CI में आप शोर पर नहीं रोकते -> एक min_delta सीमा candidate को अस्वीकार होने से पहले एक छोटी, सही गई मात्रा तक गिरने देती है (अक्सर 0.0, मतलब "बुरा नहीं होना चाहिए"):

  • gate(baseline, candidate, min_delta) -> baseline और candidate हर एक एक (preds, golds) जोड़ा है। दोनों को exact-match accuracy के रूप में score करें, delta = candidate_acc - baseline_acc निकालें, और {"pass": bool, "delta": delta, "report": str} लौटाएँ। द्वार पास होता है जब delta >= min_delta हो और नहीं तो विफल।

report इंसान के पढ़ने लायक एक पंक्ति है जो developer CI log में देखता है। इसे नतीजा और संख्याएँ बताने दें, जैसे "PASS: delta +0.100 (baseline 0.800 -> candidate 0.900), threshold 0.000" या एक FAIL: ... रूप। टेस्ट जाँचते हैं कि रिपोर्ट boolean से मेल खाते PASS या FAIL से शुरू हो और दोनों accuracies का ज़िक्र करे, इसलिए सटीक शब्द आपके हैं पर तथ्य उसमें होने चाहिए।

ठोस रूप से: 0.8 पर baseline और 0.6 पर candidate min_delta=0.0 के साथ -> delta -0.2, द्वार विफल, merge रुका। उन्हें बदलें और candidate सुधरता है -> द्वार पास। वह एक boolean वह है जिसे आप CI में जोड़ते हैं ताकि "prompt बेहतर लगता है" बने "prompt साबित रूप से बुरा नहीं है, नहीं तो build लाल है।" एक सुधार और एक गिरावट को द्वार से गुज़ारने के लिए Run दबाएँ।

आपकी बारी

CI regression द्वार बनाएँ। compare(v1_preds, v2_preds, golds) लिखें जो {"v1", "v2", "delta"} लौटाए जहाँ हर मान exact-match accuracy है (strip किए gold के बराबर अनुमानों का हिस्सा) और delta = v2 - v1। gate(baseline, candidate, min_delta) लिखें जो दो (preds, golds) जोड़े ले और {"pass": bool, "delta": float, "report": str} लौटाए, तभी पास होते हुए जब delta >= min_delta हो। रिपोर्ट को PASS/FAIL (boolean से मेल खाता) से शुरू होना होगा और दोनों accuracies का ज़िक्र करना होगा, हर एक तीन दशमलव के साथ लिखी ("%.3f", इसलिए 0.5 0.500 के रूप में दिखता है)। गिरावट को द्वार विफल करना होगा; सुधार को पास करना होगा।

इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें

यह अभ्यास जल्द खुलेगा

इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।