معدل سمية مع نطاق امتناع
Keyword الهجمات الواضحة، لكنها لا تستطيع قراءة النبرة. بالنسبة لسؤال "هل هذه الرسالة سامة؟" فأنت تريد trained classifier تعلم الأنماط من أمثلة مصنفة. هذا هو بالضبط ما تفعله نقطة نهاية content-moderation تحت الغطاء، ويمكنك بناء واحدة جيدة في اثني عشر سطرا باستخدام scikit-learn. لا GPU، لا سحابة، لا LLM.
الوصفة هي خط أنابيب تصنيف النصوص الأساسي:
- يقوم
- TfidfVectorizer بتحويل كل رسالة إلى متجه من أهمية الكلمات. يتم تقليل وزن الكلمات الشائعة عبر جميع الرسائل، بينما يتم زيادة وزن الكلمات المميزة لرسالة معينة. هذه هي فكرة "TF-IDF". يتعلم
- LogisticRegression وزناً لكل كلمة ويخرج احتمالية أن تكون الرسالة سامة. نقوم بتثبيت
random_state=0ليكون الملاءمة قابلة لإعادة الإنتاج.
التحول الذي يجعله مناسبا للإنتاج هو حزام الامتناع. يقوم المصنف الخام دائما بالالتزام بتصنيف معين، حتى عندما يكون متأكدا بنسبة 51% فقط. في هذا السياق يعد ذلك تهورا: يجب إرسال القرار الحدودي إلى إنسان، وليس اتخاذه تلقائيا. لذا بدلا من قبول predictالقرار القاطعZ للموذج، تقرأ احتماليته وتطبق قاعدتك الخاصة ثنائية الجانب:
proba = model.predict_proba(X)[:, toxic_col] # P(toxic) per message
if proba >= high: label = "toxic"
elif proba <= low: label = "clean"
else: label = "abstain" # send to a humanستتدرب على مجموعة صغيرة مصنفة، ثم تصنف دفعة مستبعدة إلى "toxic" أو "clean" أو "abstain" باستخدام حافة منخفضة وحافة عالية. يجب أن تعود الرسائل الوقحة بوضوح كـ toxic، والرسائل الودودة بوضوح كـ clean، وأي شيء غير متأكد منه النموذج يجب أن يقع في abstain بدلاً من التخمين. تحافظ مجموعة التدريب الصغيرة على الاحتمالات متجمعة بالقرب من المنتصف، لذا فإن نطاق ضيق مثل (0.45, 0.55) هو ما يفصل الفئات هنا فعلياً.
لماذا المصنف وليس نموذج LLM نفسه
توجد نماذج إشراف مستضافة (نقطة نهاية OpenAI moderation، وPerspective API، وغيرها)، وغالباً ما تقوم باستدعاء أحدها في بيئة الإنتاج. نحن نبني نموذجاً محلياً هنا لثلاثة أسباب: يعمل دون اتصال بالإنترنت في هذه البيئة التجريبية، ولا يكلف شيئاً لكل استدعاء، ويجعل الأجزاء المتحركة مرئية، ميزات، وزن متعلم لكل كلمة، واحتمالية، وعتبة يحددها الإنسان. تنتقل تلك المفاهيم مباشرة إلى أي خدمة إشراف تقوم بتوصيلها لاحقاً.قم ببناء train_moderator(texts, labels) الذي يستوعب Pipeline(TfidfVectorizer, LogisticRegression(random_state=0)) ويعيده. ثم اكتب classify(model, texts, low, high) الذي يقرأ predict_proba للفئة السامة ويعيد قائمة من "toxic" (proba >= high)، أو "clean" (proba <= low)، أو "abstain" (بينهما). أخيراً قم بتعيين preds = classify(model, HELD_OUT, 0.45, 0.55).
سيفتح هذا التمرين قريبا
أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.
يقوم هذا المتصفح بحظر ملفات تعريف الارتباط لـ learn.floati.life، لذا لا يمكن فتح الدروس التي أنهيتها هنا بالترتيب. اسمح بملفات تعريف الارتباط لهذا الموقع وأعد التحميل.