Confidence thresholding और abstain
एक classifier हमेशा जवाब देता है, तब भी जब उसे कुछ पता न हो। softmax का योग 1 होना ही चाहिए, इसलिए सचमुच उलझा मॉडल भी आपको एक top label देता है -> बस उसके पीछे कम प्रायिकता के साथ। production में यह ख़तरनाक है: किसी ग्राहक को चुपचाप ग़लत जगह भेजना यह मानने से बुरा है कि आपको पक्का नहीं पता।
इलाज एक confidence सीमा है, एक abstain विकल्प के साथ। आप top label की प्रायिकता देखते हैं; अगर वह सीमा पार करती है तो आप उस पर काम करते हैं, और अगर नहीं तो आप एक ख़ास "abstain" फ़ैसला लौटाते हैं जो अनुरोध को किसी इंसान को सौंप देता है (या एक महँगे मॉडल तक बढ़ा देता है)। यह इंसान को सौंपने वाला वह द्वार है जो हर गंभीर LLM सिस्टम में होता है।
probs = [0.80, 0.12, 0.08] # model is confident
labels = ["billing", "technical", "account"]
# top prob 0.80 >= 0.6 -> return "billing"
probs = [0.40, 0.35, 0.25] # model is unsure
# top prob 0.40 < 0.6 -> return "abstain"सीमा एक dial है जिसे आप डेटा से tune करते हैं: इसे बढ़ाएँ और आप ज़्यादा बार abstain करते हैं (ज़्यादा सुरक्षित, इंसान का ज़्यादा काम); घटाएँ और आप ज़्यादा बार काम करते हैं (सस्ता, ज़्यादा जोखिम)। सीमा ख़ुद मायने रखती है -> तय करें कि सीमा के ठीक बराबर प्रायिकता पक्की गिनी जाए या नहीं। यहाँ हम >= threshold मतलब पक्का इस्तेमाल करते हैं (सीमा वाला मान पास होता है)।
प्रायिकताएँ कहाँ से आती हैं? आमतौर पर आपके पहले बनाए classifier के model.predict_proba(...) से, या हर prototype के cosine scores को एक वितरण में normalise करके। दोनों तरह, द्वार का तर्क वही छोटा फ़ंक्शन है, और यह शुद्ध और निश्चित है -> ठीक उस तरह की सुरक्षा जिसे आप unit-test कर सकते हैं।
एक फ़ंक्शन बनाएँ। classify_with_threshold(probs, labels, threshold): सबसे ऊँची प्रायिकता वाला label ढूँढें; अगर वह प्रायिकता >= threshold है तो label लौटाएँ, नहीं तो स्ट्रिंग "abstain" लौटाएँ। probs और labels मेल खाती सूचियाँ हैं। एक पक्के मामले को पार होते और एक अनिश्चित को abstain करते देखने के लिए Run दबाएँ।
classify_with_threshold(probs, labels, threshold) लिखें जहाँ probs और labels मेल खाती सूचियाँ हैं। सबसे ऊँची प्रायिकता वाला label लौटाएँ, पर सिर्फ़ तब जब वह प्रायिकता >= threshold हो; नहीं तो स्ट्रिंग "abstain" लौटाएँ। सीमा के ठीक बराबर प्रायिकता को पक्का मानें।
इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें
यह अभ्यास जल्द खुलेगा
इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।
यह ब्राउज़र learn.floati.life के लिए कुकी रोक रहा है, इसलिए यहाँ पूरे किए गए पाठ क्रम से नहीं खुल सकते। इस साइट के लिए कुकी की अनुमति दें और फिर से लोड करें।