abstain के साथ intent classifier
अपने कैपस्टोन निर्माण में स्वागत है। चार पाठों में आप वह परत बनाकर देते हैं जो आपके उपयोगकर्ताओं और मॉडल के बीच बैठती है: एक AI gateway जो classify करता है कि अनुरोध क्या चाहता है, उसे सही handler तक route करता है, जवाब cache करता है, दुरुपयोग से पहरा देता है, और हर डॉलर का हिसाब रखता है। यह फीका infrastructure है जो एक चालाक demo को ऐसी चीज़ में बदलता है जिसे कोई कंपनी असल में चला सके, और ठीक यही एक hiring manager का मतलब होता है जब resume पंक्ति कहती है "built an AI gateway: classify, route, cache, guardrail, cost-account."
दायरे पर एक ईमानदार बात: आप gateway का application-परत तर्क बना रहे हैं (classify, route, semantic-cache, guardrail, cost-account)। production में असल में चलाने वाले gateway को उसे रखने के लिए एक चलती सेवा, authentication, असली distributed rate-limiting, और एक deployment भी चाहिए, जो इस ब्राउज़र कैपस्टोन से परे हैं।
पहला पड़ाव: मुख्य दरवाज़ा। आने वाला हर अनुरोध टेक्स्ट का एक गट्ठर है, और उसके साथ कुछ समझदारी करने से पहले आपको जानना होगा कि वह क्या है। क्या यह मौसम का सवाल है? एक खाता समस्या? एक billing शिकायत? आप एक intent classifier बनाएँगे जो मुट्ठी भर labelled उदाहरणों से सीखता है और हर नए अनुरोध को चिह्नित करता है। जो पेच खिलौने को असली classifier से अलग करता है: उसे जानना होगा कि वह कब नहीं जानता। जो मॉडल आत्मविश्वास से बकवास को label करता है वह आगे बेकार से भी बुरा है, इसलिए आपका abstain करेगा और पक्का न होने पर "unknown" लौटाएगा।
आप दो फ़ंक्शन लिखेंगे:
train_intent(texts, labels)-> टेक्स्ट को vectors में बदलने के लिए एकTfidfVectorizerfit करें, फिर ऊपर एकLogisticRegression(random_state=0)। जो भी गठरी (एक dict ठीक है)classifyको अनुमान लगाने के लिए चाहिए वह लौटाएँ। मॉडल को seed दें ताकि सबको एक जैसे नतीजे मिलें।classify(model, text)-> एक(label, confidence)tuple लौटाएँ।predict_probaसे class प्रायिकताएँ लें, सबसे ऊपर वाली लें, और अगर उसका confidence एक सीमा (लगभग0.5) से नीचे है, तो इसके बजाय("unknown", confidence)लौटाएँ।
सचमुच वितरण से बाहर के इनपुट को पकड़ने की तरकीब सस्ती और मज़बूत है। जब TfidfVectorizer.transform ऐसा टेक्स्ट देखता है जिसमें training vocabulary का कोई शब्द नहीं, तो बनी पंक्ति सब शून्य होती है (उसका .nnz 0 है)। यही आपका संकेत है कि मॉडल के पास आधार को कुछ नहीं, इसलिए तुरंत abstain करें:
X = vec.transform([text])
if X.nnz == 0:
return ("unknown", 0.0)
probs = clf.predict_proba(X)[0]
idx = probs.argmax()
conf = float(probs[idx])
return (clf.classes_[idx], conf) if conf >= 0.5 else ("unknown", conf)मॉडल पर एक असली दुनिया की बात: बहुत छोटे training sets पर डिफ़ॉल्ट regularization हर प्रायिकता को संयोग के पास मँडराता रखता है, इसलिए सही सवाल कभी सीमा पार नहीं करते। C=10.0 से regularization ढीला करना (और max_iter बढ़ाना ताकि वह converge हो) मॉडल को इतना तेज़ करता है कि असली पर्यायवाची वाक्य आत्मविश्वास से score करें जबकि कचरा फिर भी abstain करे। कुछ labelled support सवालों पर train करने और पर्यायवाची वाक्यों को classify होते जबकि बकवास को पीछे हटते देखने के लिए Run दबाएँ।
TfidfVectorizer + LogisticRegression(random_state=0) से train_intent(texts, labels) लिखें (C=10.0 से ढीला करें और max_iter बढ़ाएँ ताकि छोटा डेटा converge हो), वह गठरी लौटाते हुए जो classify को चाहिए। फिर classify(model, text) लिखें जो (label, confidence) लौटाए: सबसे ऊपर की predict_proba class लें, ~0.5 सीमा से नीचे ("unknown", conf) पर abstain करें, और बदली पंक्ति सब शून्य होने पर (X.nnz == 0) तुरंत abstain करें ताकि वितरण से बाहर या ख़ाली इनपुट label न हो सके।
इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें
यह अभ्यास जल्द खुलेगा
इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।
यह ब्राउज़र learn.floati.life के लिए कुकी रोक रहा है, इसलिए यहाँ पूरे किए गए पाठ क्रम से नहीं खुल सकते। इस साइट के लिए कुकी की अनुमति दें और फिर से लोड करें।