فراتر از دقت: صحت، فراخوانی و F1
شما در درس قبلی تله را دیدید: اگر ۹۵٪ ایمیلها اسپم نباشند، مدلی که همیشه «اسپم نیست» را حدس بزند، دقت ۰.۹۵ دارد در حالی که هیچ اسپمی را شناسایی نمیکند. در هر مسئله نامتعادل، دقت گمراهکننده است. راهحل این است که با ماتریس سردرگمی ببینیم مدل چه نوع اشتباهاتی مرتکب میشود.
برای یک طبقهبند بله/خیر (برچسب 1 = کلاس مثبت، مثلاً «هرزنامه»). هر پیشبینی در یکی از چهار خانه قرار میگیرد:
TP true positive predicted 1, actually 1 (caught real spam)
FP false positive predicted 1, actually 0 (flagged a good email)
FN false negative predicted 0, actually 1 (missed real spam)
TN true negative predicted 0, actually 0 (left a good email alone)از آن شمارشها سه عدد به دست میآید که همان چیزی است که تیمهای واقعی واقعاً گزارش میکنند:
- دقت =
TP / (TP + FP)از میان همه مواردی که علامتگذاری کردید، چه تعداد درست بود؟ دقت پایین = هشدارهای بیمورد. - Recall =
TP / (TP + FN)از تمام مواردی که باید شناسایی میکردید، چندتایش را شناسایی کردید؟ بازخوانی پایین = از دست دادن موارد واقعی. - F1 =
2 * P * R / (P + R)، میانگین هارمونیک. عددی که تنها زمانی بالا است که هم دقت و هم یادآوری بالا باشند، بنابراین مدل تنبل تمام-منفی (یادآوری ۰) امتیاز F1 = 0 میگیرد و رسوا میشود.
دقت و یادآوری در تضاد با یکدیگر هستند: اگر همه چیز را علامتگذاری کنید، یادآوری به ۱.۰ میرسد اما دقت سقوط میکند؛ اگر هیچچیز را علامتگذاری نکنید، دقت تعریفنشده است اما هیچچیز را شناسایی نمیکنید. F1 شما را صادق نگه میدارد. وقتی مخرج صفر است (شما هیچ مثبت را پیشبینی نکردهاید، یا اصلاً هیچ مثبتی وجود ندارد)، آن معیار را به صورت گزارش کنید 0.0 به جای تقسیم بر صفر.
دو تابع بسازید. confusion(y_true, y_pred) تویپ را برمیگرداند (tp, fp, fn, tn) روی دو لیست با طول برابر از برچسبهای ۰/۱. prf(y_true, y_pred) بازمیگرداند {"precision", "recall", "f1"} محاسبه شده از آن شمارشها (0.0 در صورت هر مخرج صفر). تستهای پنهان اعداد شما را با scikit-learn مقایسه میکنند، بنابراین تعاریف باید دقیق باشند. برای امتیازدهی به یک طبقهبند نامتعادل، روی Run کلیک کنید.
نوشتن confusion(y_true, y_pred) بازگشت (tp, fp, fn, tn) برای دو لیست با طولهای برابر از برچسبهای 0/1 (1 نشاندهنده کلاس مثبت است)، و prf(y_true, y_pred) بازگرداندن {"precision", "recall", "f1"} که در آن precision = TP/(TP+FP)، recall = TP/(TP+FN)، و f1 = 2*P*R/(P+R). بازگردانید 0.0 برای هر معیاری که مخرج آن صفر باشد (هرگز تقسیم بر صفر نکنید). نتایج شما با scikit-learn بهطور متقابل بررسی میشوند.
مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید
این تمرین بهزودی باز میشود
درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و میتوانید همین الان این درس را بخوانید.
این مرورگر کوکیهای learn.floati.life را مسدود میکند، پس درسهایی که اینجا تمام کردید نمیتوانند به ترتیب باز شوند. کوکیها را برای این سایت مجاز کنید و صفحه را دوباره بارگذاری کنید.