इनकारों को calibrate करना: ज़्यादा बनाम कम इनकार
हमले रोकना सुरक्षा का सिर्फ़ आधा हिस्सा है। बाक़ी आधा है ज़रूरत से ज़्यादा न रोकना। हर ज़रा तीखे सवाल को मना करने वाला मॉडल सुरक्षित और बेकार है, उस smoke alarm जैसा जो toast बनाते ही बज उठे। आपको दोनों विफलताओं को एक ही labelled set पर मापना होगा और उनके बीच की रेखा tune करनी होगी।
prompts का एक समूह लें, हर एक पर label कि ऐप को क्या करना चाहिए: "refuse" (सचमुच हानिकारक) या "answer" (सामान्य)। आपका पहरेदार हर prompt का एक जोखिम score बनाता है, और जब score एक सीमा पार करता है तो आप मना करते हैं। दो त्रुटियाँ हो सकती हैं:
- ज़्यादा इनकार (एक false positive): आपने वह prompt मना किया जिसका जवाब देना चाहिए था। परेशान करने वाला, उपयोगकर्ताओं को भगाता है।
- कम इनकार (एक false negative): आपने उस prompt का जवाब दिया जिसे मना करना चाहिए था। ख़तरनाक, सुर्ख़ियों वाला जोखिम।
"refuse" को positive class मानकर, मानक metrics पूरी कहानी बताते हैं:
precision = TP / (TP + FP) # of what I refused, how much truly needed refusing
recall = TP / (TP + FN) # of the truly-harmful, how much I caught
f1 = 2 * P * R / (P + R)कम precision का मतलब आप ज़्यादा मना कर रहे हैं (आपके इनकारों में बहुत सारे सामान्य prompts)। कम recall का मतलब आप कम मना कर रहे हैं (हानिकारक prompts फिसल रहे हैं)। सीमा खिसकाने पर इनमें अदला-बदली होती है: ज़ोर से मना करें तो recall चढ़ता है जबकि precision गिरती है; संभलकर मना करें तो उल्टा। आप refusal_metrics(scores, labels, threshold) लिखेंगे और फिर best_threshold(scores, labels, candidates) जो उम्मीदवार सीमाओं पर चलकर सबसे ऊँचे F1 वाली लौटाए, वह अकेली संख्या जो किसी भी त्रुटि को बेक़ाबू नहीं होने देती।
दो सही-होने वाली बातें जो टेस्ट जाँचते हैं। score >= threshold पर मना करें (बड़ा-या-बराबर, ताकि ठीक रेखा पर बैठा score मना हो)। और जब किसी metric का denominator शून्य हो (आपने कुछ मना नहीं किया, इसलिए precision अपरिभाषित है) तो क्रैश होने के बजाय 0.0 लौटाएँ। आपके metrics को scikit-learn के precision_score, recall_score, और f1_score से zero_division=0 के साथ मेल खाना चाहिए, क्योंकि आपको कभी ऐसे हाथ से बने metrics नहीं भेजने चाहिए जो टेस्ट की हुई library से असहमत हों।
refusal_metrics(scores, labels, threshold) लिखें जहाँ labels "refuse"/"answer" हैं और आप score >= threshold होने पर refuse का अनुमान लगाते हैं। "refuse" को positive मानें और {"precision", "recall", "f1"} लौटाएँ, हर एक 4 दशमलव तक round किया, किसी भी शून्य-denominator metric के लिए 0.0 (zero_division=0 के साथ sklearn से मेल खाना चाहिए)। फिर best_threshold(scores, labels, candidates) लिखें जो सबसे ऊँचे F1 वाला उम्मीदवार लौटाए (बराबरी पर सबसे नीची सीमा जीतती है), और best = best_threshold(SCORES, LABELS, CANDIDATES) सेट करें।
इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें
यह अभ्यास जल्द खुलेगा
इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।
यह ब्राउज़र learn.floati.life के लिए कुकी रोक रहा है, इसलिए यहाँ पूरे किए गए पाठ क्रम से नहीं खुल सकते। इस साइट के लिए कुकी की अनुमति दें और फिर से लोड करें।