पाठ्यक्रम 250 में से पाठ 192 · ज़िम्मेदार AI: सुरक्षा, moderation और red-teaming
ज़िम्मेदार AI: सुरक्षा, moderation और red-teaming

abstain band वाला toxicity moderator

Keyword छन्नियाँ साफ़ हमले पकड़ती हैं, पर लहजा नहीं पढ़ सकतीं। "क्या यह संदेश ज़हरीला है?" के लिए आपको एक train किया classifier चाहिए जिसने labelled उदाहरणों से पैटर्न सीखे हों। content-moderation endpoint अंदर ठीक यही करता है, और आप scikit-learn से एक दर्जन पंक्तियों में एक अच्छा-ख़ासा बना सकते हैं। कोई GPU नहीं, कोई cloud नहीं, कोई LLM नहीं।

नुस्ख़ा मेहनती text-classification pipeline है:

  • TfidfVectorizer हर संदेश को शब्दों की अहमियत के vector में बदलता है। सभी संदेशों में आम शब्दों का भार घटता है; किसी संदेश के ख़ास शब्दों का भार बढ़ता है। यही "TF-IDF" विचार है।
  • LogisticRegression हर शब्द का एक भार सीखता है और प्रायिकता देता है कि संदेश ज़हरीला है। हम random_state=0 तय करते हैं ताकि fit दोहराया जा सके।

जो मोड़ इसे production के आकार का बनाता है वह एक abstain band है। एक कच्चा classifier हमेशा एक label पर टिकता है, 51% पक्का होने पर भी। moderation में यह लापरवाही है: सीमा वाले फ़ैसले इंसान के पास जाने चाहिए, अपने आप तय नहीं होने चाहिए। इसलिए मॉडल का पक्का predict लेने के बजाय आप उसकी प्रायिकता पढ़ते हैं और अपना दो-तरफ़ा नियम लगाते हैं:

proba = model.predict_proba(X)[:, toxic_col]   # P(toxic) per message
if proba >= high:        label = "toxic"
elif proba <= low:       label = "clean"
else:                    label = "abstain"   # send to a human

आप एक छोटे labelled set पर train करेंगे, फिर एक नीचे के किनारे और एक ऊपर के किनारे से अलग रखे batch को "toxic", "clean", या "abstain" में classify करेंगे। साफ़ तौर पर बदतमीज़ संदेश toxic लौटने चाहिए, साफ़ तौर पर दोस्ताना clean, और जिस किसी के बारे में मॉडल अनिश्चित है उसे अंदाज़ा लगाने के बजाय abstain में जाना चाहिए। छोटा training set प्रायिकताओं को बीच के पास सिमटा रखता है, इसलिए (0.45, 0.55) जैसा तंग band ही यहाँ classes को सचमुच अलग करता है।

classifier क्यों, ख़ुद LLM क्यों नहीं

hosted moderation मॉडल मौजूद हैं (OpenAI का moderation endpoint, Perspective API, वग़ैरह), और production में आप अक्सर उनमें से किसी को बुलाएँगे। हम यहाँ तीन कारणों से एक local बनाते हैं: यह इस sandbox में offline चलता है, हर कॉल पर कुछ ख़र्च नहीं होता, और यह चलने वाले हिस्सों को दिखाता है, features, हर शब्द का सीखा भार, एक प्रायिकता, और इंसान की तय की सीमा। ये अवधारणाएँ सीधे उस हर moderation सेवा पर लागू होती हैं जो आप बाद में जोड़ेंगे।

आपकी बारी

train_moderator(texts, labels) बनाएँ जो एक Pipeline(TfidfVectorizer, LogisticRegression(random_state=0)) fit करके लौटाए। फिर classify(model, texts, low, high) लिखें जो toxic class के लिए predict_proba पढ़े और "toxic" (proba >= high), "clean" (proba <= low), या "abstain" (बीच में) की सूची लौटाए। आख़िर में preds = classify(model, HELD_OUT, 0.45, 0.55) सेट करें।

इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें

यह अभ्यास जल्द खुलेगा

इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।