पाठ्यक्रम 250 में से पाठ 170 · LLM evals और टेस्टिंग
LLM evals और टेस्टिंग

एक prompt regression द्वार

आपके पास scorers हैं (exact match, F1, एक LLM judge)। आख़िरी टुकड़ा उन्हें एक द्वार में बदलता है: एक हाँ/ना फ़ैसला जो आपका CI हर prompt बदलाव पर चलाता है ताकि एक "छोटा बदलाव" कभी चुपचाप चीज़ों को बुरा न बना सके। गुणवत्ता मापने और उसका बचाव करने में यही अंतर है।

(यहाँ "regression" का मतलब बुरे के लिए बदलाव है, रोज़ का software वाला अर्थ, ML मॉड्यूल वाली modelling तकनीक नहीं।)

आप एक ही eval set पर दो दौरों की तुलना करते हैं: baseline (production वाला prompt) और candidate (आपका बदलाव), [0, 1] में हर-उदाहरण scores की दो सूचियों के रूप में। द्वार बदलाव को रोकता है जब तक वह तीन मानक पार न करे:

  • कुल गिरावट नहीं: candidate का औसत score कम से कम baseline के औसत जितना हो (एक छोटी छूट शोर सोख लेती है)।
  • कम नई विफलताएँ: उन उदाहरणों की संख्या जहाँ candidate ने baseline से बुरा किया एक बजट के भीतर रहे (एक बड़ी जीत कई चुपचाप गिरावटों को नहीं छिपानी चाहिए)।
  • एक तल: एक पूर्ण न्यूनतम औसत, अगर आप सेट करें।

regression_gate(baseline, candidate, tol=0.01, max_regressions=0, min_mean=None) बनाएँ जो baseline_mean, candidate_mean, delta (candidate घटा baseline), regressions (उन indices की गिनती जहाँ candidate[i] < baseline[i] - 1e-9), और passed (एक bool, True सिर्फ़ तब जब सारे मानक पार हों) वाली एक रिपोर्ट dict लौटाए। दोनों सूचियाँ एक ही लंबाई की हैं। एक candidate prompt को द्वार से गुज़ारने के लिए Run दबाएँ।

आपकी बारी

हर-उदाहरण scores की दो बराबर लंबाई वाली सूचियों पर regression_gate(baseline, candidate, tol=0.01, max_regressions=0, min_mean=None) लिखें। {"baseline_mean", "candidate_mean", "delta", "regressions", "passed"} लौटाएँ जहाँ delta = candidate_mean - baseline_mean, regressions candidate[i] < baseline[i] - 1e-9 वाले indices गिनता है, और passed सिर्फ़ तब True है जब candidate_mean >= baseline_mean - tol और regressions <= max_regressions और (min_mean is None या candidate_mean >= min_mean)।

इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें

यह अभ्यास जल्द खुलेगा

इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।