سرفصل‌ها درس 194 از 250 · هوش مصنوعی مسئول: ایمنی، نظارت و تیم قرمز
هوش مصنوعی مسئول: ایمنی، نظارت و تیم قرمز

کالیبراسیون ردها: رد بیش از حد در مقابل رد کمتر از حد

مسدود کردن حملات تنها نیمی از امنیت است. نیمه‌ی دیگر، جلوگیری از مسدودسازی بیش از حد است. مدلی که هر سؤال اندکی تند را رد کند، امن اما بی‌فایده است؛ معادل ایمنی یک دتکتور دود که وقتی نان تست می‌پزید، زنگ می‌زند. باید هر دو حالت شکست را روی یک مجموعه برچسب‌خورده بسنجید و خط تعادل بین آن‌ها را تنظیم کنید.

مجموعه‌ای از ورودی‌ها را در نظر بگیرید که هر کدام برچسب‌گذاری شده‌اند با کاری که برنامه باید انجام دهد: "refuse" (واقعاً مضر) یا "answer" (خوش‌خیم). نگهبان شما برای هر پرسش یک نمره ریسک تولید می‌کند و وقتی نمره از آستانه‌ای فراتر رفت، شما آن را رد می‌کنید. دو خطا ممکن است رخ دهد:

  • رد بیش از حد (مثبت کاذب): شما یک درخواست را که باید پاسخ می‌دادید، رد کرده‌اید. آزاردهنده است و کاربران را فراری می‌دهد.
  • رد نکردن نادرست (نبود مثبت کاذب): شما به درخواستی پاسخ دادید که باید رد می‌کردید. خطرناک است، ریسک اصلی.

درمان "refuse" را به‌عنوان کلاس مثبت در نظر گرفتن، معیارهای استاندارد کل داستان را بیان می‌کنند:

precision = TP / (TP + FP)   # of what I refused, how much truly needed refusing
recall    = TP / (TP + FN)   # of the truly-harmful, how much I caught
f1        = 2 * P * R / (P + R)

دقت پایین به این معنی است که شما بیش از حد رد می‌کنید (ردهای شما شامل درخواست‌های بی‌ضرر زیادی است). بازخوانی پایین به این معنی است که شما کمتر از حد رد می‌کنید (درخواست‌های مضر از دست می‌روند). این دو با هم توازن دارند و با تغییر آستانه، این توازن جابجا می‌شود: اگر با تهاجمی‌تر رد کنید، بازخوانی افزایش می‌یابد اما دقت کاهش می‌یابد؛ اگر محافظه‌کارانه‌تر رد کنید، عکس این اتفاق می‌افتد. شما خواهید نوشت refusal_metrics(scores, labels, threshold) و سپس best_threshold(scores, labels, candidates) که آستانه‌های کاندیدا را بررسی می‌کند و آنی را بازمی‌گرداند که بالاترین F1 را دارد، یعنی آن عدد واحد که اجازه نمی‌دهد هیچ‌یک از خطاها به شدت افزایش یابد.

دو جزئیات صحت که تست‌ها بررسی می‌کنند. زمانی رد کنید که score >= threshold (بزرگ‌تر یا مساوی، بنابراین نمره‌ای که دقیقاً روی خط قرار دارد، رد می‌شود). و هنگامی که مخرج یک معیار صفر باشد (شما هیچ‌چیز را رد نکرده‌اید، بنابراین دقت تعریف نشده است) بازگردانید 0.0 به جای کرش کردن. معیارهای شما باید با معیارهای scikit-learn مطابقت داشته باشند precision_score, recall_score، و f1_score با zero_division=0، زیرا هرگز نباید متریک‌های دست‌ساز را که با کتابخانهٔ مورد آزمایش اختلاف دارند، ارائه کنید.

نوبت شما

نوشتن refusal_metrics(scores, labels, threshold) کجا labels هستند "refuse"/"answer" و شما پیش‌بینی می‌کنید که وقتی score >= threshold. درمان "refuse" به‌عنوان مثبت و بازگرداندن {"precision", "recall", "f1"}، هر roundشده به ۴ رقم، با 0.0 برای هر متریک بدون مخرج صفر (باید با sklearn مطابقت داشته باشد با zero_division=0). سپس بنویسید best_threshold(scores, labels, candidates) کاندیدایی را که بالاترین F1 را دارد بازمی‌گرداند (در صورت تساوی، آستانه‌ی پایین‌تر برنده می‌شود)، و تنظیم کنید best = best_threshold(SCORES, LABELS, CANDIDATES).

مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید

این تمرین به‌زودی باز می‌شود

درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و می‌توانید همین الان این درس را بخوانید.