المنهج الدراسي الدرس 194 من 250 · الذكاء الاصطناعي المسؤول: السلامة، والإشراف، واختبار الاختراق
الذكاء الاصطناعي المسؤول: السلامة، والإشراف، واختبار الاختراق

معايرة الرفض: الرفض الزائد مقابل الرفض الناقص

منع الهجمات هو نصف الأمان فقط. النصف الآخر هو عدم الحظر المفرط. النموذج الذي يرفض كل سؤال حاد قليلا هو نموذج آمن وغير مفيد، وهو يعادل إنذار الحريق الذي يعمل عند تحميص الخبز. يجب عليك قياس كلا نمطي الفشل على نفس المجموعة المصنفة وضبط الخط الفاصل بينهما.

خذ مجموعة من الأوامر كل منها مصنف بما يجب على التطبيق should فعله: "refuse" (ضار حقا) أو "answer" (غير ضار). ينتج نظام الحماية الخاص بك risk score لكل أمر، وأنت ترفض عندما يتجاوز الرقم threshold. يمكن حدوث خطأين:

  • الرفض المفرط (إيجابي كاذب): رفضت طلبا كان يجب عليك الإجابة عليه. أمر مزعج، ويدفع المستخدمين للابتعاد.
  • رفض أقل من اللازم (نتيجة سلبية خاطئة): لقد أجبت على طلب كان يجب عليك رفضه. هذا خطر، وهو المخاطرة الرئيسية.

باعتبار "refuse" كالفئة الإيجابية، فإن المقاييس القياسية توضح القصة كاملة:

precision = TP / (TP + FP)   # of what I refused, how much truly needed refusing
recall    = TP / (TP + FN)   # of the truly-harmful, how much I caught
f1        = 2 * P * R / (P + R)

تعني الدقة المنخفضة أنك ترفض بشكل مفرط (الكثير من المطالبات غير الضارة في رفضك). تعني الاستدعاء المنخفض أنك ترفض بشكل غير كافٍ (تسرب المطالبات الضارة). هناك مقايضة عند تحريك العتبة: الرفض الهجومي يؤدي لارتفاع الاستدعاء بينما تنخفض الدقة؛ الرفض المتحفظ يؤدي للعكس. ستكتب refusal_metrics(scores, labels, threshold) ثم best_threshold(scores, labels, candidates) التي تمسح عتبات المرشحين وتعيد تلك التي تمتلك أعلى F1، الرقم الوحيد الذي يرفض ترك أي خطأ يخرج عن السيطرة.

تفصيلان حول الصحة تتحقق منهما الاختبارات. ارفض عندما يكون score >= threshold (أكبر من أو يساوي، لذا فإن الدرجة التي تقع بالضبط على الخط ترفض). وعندما يكون مقام المقياس صفراً (لم ترفض شيئاً، لذا فإن الدقة غير معرفة) أعد 0.0 بدلاً من الانهيار. يجب أن تتوافق مقاييسك مع precision_score و recall_score و f1_score الخاصة بـ scikit-learn مع zero_division=0، لأنك يجب ألا ترسل أبداً مقاييس يدوية لا تتوافق مع المكتبة المختبرة.

دورك

اكتب refusal_metrics(scores, labels, threshold) حيث labels هي "refuse"/"answer" وتتوقع refuse عندما score >= threshold. تعامل مع "refuse" كقيمة موجبة وأرجع {"precision", "recall", "f1"}، كل round مقربة إلى 4 خانات، مع 0.0 لأي مقياس بمقام صفر (يجب أن يتطابق مع sklearn مع zero_division=0). ثم اكتب best_threshold(scores, labels, candidates) الذي يرجع المرشح صاحب أعلى F1 (أقل threshold يفوز في حالة التعادل)، وقم بتعيين best = best_threshold(SCORES, LABELS, CANDIDATES).

هل لاحظت مشكلة في هذا الدرس؟ أبلغ عنها · اسأل عن هذا الدرس

سيفتح هذا التمرين قريبا

أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.