المنهج الدراسي الدرس 92 من 250 · نماذج تعلم الآلة الأولى الخاصة بك
نماذج تعلم الآلة الأولى الخاصة بك

ما وراء الدقة: Precision و Recall و F1

لقد رأيت الفخ في الدرس السابق: إذا كانت 95% من رسائل البريد الإلكتروني ليست spam، فإن النموذج الذي يخمن دائماً "not spam" يحصل على 0.95 accuracy بينما لا يلتقط أي spam. في أي مشكلة imbalanced، تخدعنا الـ accuracy. الحل هو النظر إلى which kind من الأخطاء التي يرتكبها النموذج، باستخدام confusion matrix.

بالنسبة لمصنف نعم/لا (التسمية 1 = الفئة الإيجابية، مثل "spam")، يقع كل تنبؤ في واحد من أربعة صناديق:

TP  true positive   predicted 1, actually 1   (caught real spam)
FP  false positive  predicted 1, actually 0   (flagged a good email)
FN  false negative  predicted 0, actually 1   (missed real spam)
TN  true negative   predicted 0, actually 0   (left a good email alone)

ثلاثة أرقام تخرج من تلك الحسابات، وهي ما تبلغ عنه الفرق الحقيقية فعليا:

  • Precision = TP / (TP + FP). من بين كل ما حددته، ما هو مقدار ما كان صحيحا؟ الدقة المنخفضة تعني إطلاق إنذارات كاذبة.
  • Recall = TP / (TP + FN). من كل ما كان يجب عليك اكتشافه، كم اكتشفت؟ انخفاض Recall يعني فقدان الحالات الحقيقية.
  • F1 = 2 * P * R / (P + R)، وهو المتوسط التوافقي. رقم واحد يكون مرتفعا فقط عندما يكون كل من precision و recall مرتفعين، لذا فإن النموذج الكسول ذو القيم السالبة بالكامل (recall 0) يحصل على F1 = 0 وينكشف.

تتبادل الدقة والاستدعاء: ضع علامة على كل شيء فيصل الاستدعاء إلى 1.0 لكن الدقة تنهار؛ ولا تضع علامة على شيء فتكون الدقة غير معرّفة لكنك لا تلتقط شيئاً. يبقيك F1 صادقاً. عندما يكون المقام صفراً (لم تتنبأ بأي موجب، أو لا يوجد أي منها)، أبلغ عن ذلك المقياس كـ 0.0 بدلاً من القسمة على صفر.

قم ببناء دالتين. confusion(y_true, y_pred) تعيد الزوج (tp, fp, fn, tn) عبر قائمتين متساويتي الطول من تسميات 0/1. prf(y_true, y_pred) تعيد {"precision", "recall", "f1"} المحسوبة من تلك الأعداد (0.0 عند وجود أي مقام يساوي صفراً). الاختبارات المخفية تتحقق من أرقامك مقابل scikit-learn، لذا يجب أن تكون التعريفات دقيقة. اضغط Run لتقييم مصنف غير متوازن.

دورك

اكتب confusion(y_true, y_pred) الذي يعيد (tp, fp, fn, tn) لقائمتين متساويتي الطول من تسميات 0/1 (1 هو الفئة الإيجابية)، وprf(y_true, y_pred) الذي يعيد {"precision", "recall", "f1"} حيث precision = TP/(TP+FP)، وrecall = TP/(TP+FN)، وf1 = 2*P*R/(P+R). أعد 0.0 لأي مقياس يكون مقامه صفراً (لا تقسم أبداً على صفر). يتم التحقق من نتائجك مقابل scikit-learn.

هل لاحظت مشكلة في هذا الدرس؟ أبلغ عنها · اسأل عن هذا الدرس

سيفتح هذا التمرين قريبا

أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.