المنهج الدراسي الدرس 192 من 250 · الذكاء الاصطناعي المسؤول: السلامة، والإشراف، واختبار الاختراق
الذكاء الاصطناعي المسؤول: السلامة، والإشراف، واختبار الاختراق

معدل سمية مع نطاق امتناع

تلتقط شاشات

Keyword الهجمات الواضحة، لكنها لا تستطيع قراءة النبرة. بالنسبة لسؤال "هل هذه الرسالة سامة؟" فأنت تريد trained classifier تعلم الأنماط من أمثلة مصنفة. هذا هو بالضبط ما تفعله نقطة نهاية content-moderation تحت الغطاء، ويمكنك بناء واحدة جيدة في اثني عشر سطرا باستخدام scikit-learn. لا GPU، لا سحابة، لا LLM.

الوصفة هي خط أنابيب تصنيف النصوص الأساسي:

    يقوم
  • TfidfVectorizer بتحويل كل رسالة إلى متجه من أهمية الكلمات. يتم تقليل وزن الكلمات الشائعة عبر جميع الرسائل، بينما يتم زيادة وزن الكلمات المميزة لرسالة معينة. هذه هي فكرة "TF-IDF".
  • يتعلم
  • LogisticRegression وزناً لكل كلمة ويخرج احتمالية أن تكون الرسالة سامة. نقوم بتثبيت random_state=0 ليكون الملاءمة قابلة لإعادة الإنتاج.

التحول الذي يجعله مناسبا للإنتاج هو حزام الامتناع. يقوم المصنف الخام دائما بالالتزام بتصنيف معين، حتى عندما يكون متأكدا بنسبة 51% فقط. في هذا السياق يعد ذلك تهورا: يجب إرسال القرار الحدودي إلى إنسان، وليس اتخاذه تلقائيا. لذا بدلا من قبول predictالقرار القاطعZ للموذج، تقرأ احتماليته وتطبق قاعدتك الخاصة ثنائية الجانب:

proba = model.predict_proba(X)[:, toxic_col]   # P(toxic) per message
if proba >= high:        label = "toxic"
elif proba <= low:       label = "clean"
else:                    label = "abstain"   # send to a human

ستتدرب على مجموعة صغيرة مصنفة، ثم تصنف دفعة مستبعدة إلى "toxic" أو "clean" أو "abstain" باستخدام حافة منخفضة وحافة عالية. يجب أن تعود الرسائل الوقحة بوضوح كـ toxic، والرسائل الودودة بوضوح كـ clean، وأي شيء غير متأكد منه النموذج يجب أن يقع في abstain بدلاً من التخمين. تحافظ مجموعة التدريب الصغيرة على الاحتمالات متجمعة بالقرب من المنتصف، لذا فإن نطاق ضيق مثل (0.45, 0.55) هو ما يفصل الفئات هنا فعلياً.

لماذا المصنف وليس نموذج LLM نفسه

توجد نماذج إشراف مستضافة (نقطة نهاية OpenAI moderation، وPerspective API، وغيرها)، وغالباً ما تقوم باستدعاء أحدها في بيئة الإنتاج. نحن نبني نموذجاً محلياً هنا لثلاثة أسباب: يعمل دون اتصال بالإنترنت في هذه البيئة التجريبية، ولا يكلف شيئاً لكل استدعاء، ويجعل الأجزاء المتحركة مرئية، ميزات، وزن متعلم لكل كلمة، واحتمالية، وعتبة يحددها الإنسان. تنتقل تلك المفاهيم مباشرة إلى أي خدمة إشراف تقوم بتوصيلها لاحقاً.

دورك

قم ببناء train_moderator(texts, labels) الذي يستوعب Pipeline(TfidfVectorizer, LogisticRegression(random_state=0)) ويعيده. ثم اكتب classify(model, texts, low, high) الذي يقرأ predict_proba للفئة السامة ويعيد قائمة من "toxic" (proba >= high)، أو "clean" (proba <= low)، أو "abstain" (بينهما). أخيراً قم بتعيين preds = classify(model, HELD_OUT, 0.45, 0.55).

هل لاحظت مشكلة في هذا الدرس؟ أبلغ عنها · اسأل عن هذا الدرس

سيفتح هذا التمرين قريبا

أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.