الدقة مقابل Precision/Recall/F1 للتصنيف
جزء كبير من عمل LLM هو في الحقيقة classification: توجيه هذه التذكرة، تصنيف هذا الشعور، ووسم هذه الرسالة كرسائل مزعجة. بالنسبة لهذه المهام، الدقة وحدها هي فخ. قم ببناء spam filter على بريد إلكتروني يحتوي على 95% من الرسائل غير المزعجة، وسيقوم النموذج بتصنيف everything بنسبة دقة 95% بينما لا يلتقط أي رسائل مزعجة. يبدو الرقم رائعا، لكن المنتج عديم الفائدة. لرؤية ذلك، تحتاج إلى precision و recall و F1 مفصلة للفئة التي تهمك فعليا.
اختر فئة موجبة (positive) (لنقل spam) وعُدّ أربع سلال:
- TP الإيجابيات الحقيقية: تم التنبؤ بأنها spam، وكانت spam.
- FP الإيجابيات الكاذبة: رسائل غير مرغوب فيها متوقعة، كانت رسائل سليمة (بريد إلكتروني جيد أُرسل إلى البريد المهمل).
- FN السلبيات الكاذبة: تم التنبؤ بأنها ham، ولكنها كانت spam (رسائل spam التي تسربت).
precision = TP / (TP + FP) # of what I flagged, how much was right
recall = TP / (TP + FN) # of the real positives, how many I caught
f1 = 2 * P * R / (P + R)
accuracy = correct / total # all classes, all predictionsهذه المقاييس تسحب في اتجاهات مختلفة. التنبيه بقوة يرفع recall بينما ينخفض precision؛ والتنبيه بحذر يؤدي إلى العكس. F1 هو الرقم الوحيد الذي يرفض انهيار أي منهما. في مجموعة غير متوازنة، تتباعد accuracy و F1 بشكل كبير، وهذا هو الهدف الأساسي من حسابهما بشكل منفصل.
ستقوم بتنفيذ هذه العمليات يدويا لأن الصيغ تستحق الحفظ عن ظهر قلب من أجل المقابلات. لكن يجب ألا تقوم ship بمقاييس يدوية بينما توجد مكتبة مختبرة، لذا تتحقق الاختبارات أيضا من أرقامك مقابل scikit-learn و precision_score و recall_score و f1_score. إذا تطابقت مع sklearn، فقد نفذتها بشكل صحيح.
from sklearn.metrics import precision_score, recall_score, f1_score
precision_score(y_true, y_pred, pos_label="spam")ما الذي سيتم بناؤه. classification_metrics(y_true, y_pred, positive_label) إرجاع dict {"accuracy", "precision", "recall", "f1"}، كل rounded إلى 4 أماكن. احمِ حالات مقام الصفر (لا توجد إيجابيات متوقعة، لا توجد إيجابيات فعلية) عن طريق إرجاع 0.0 لذلك المقياس بدلاً من القسمة على صفر. اضغط Run لطباعة تقرير ومراقبة اختلاف accuracy و F1 على مجموعة غير متوازنة.
اكتب classification_metrics(y_true, y_pred, positive_label) ليعيد {'accuracy', 'precision', 'recall', 'f1'} للفئة الموجبة المختارة، مع تقريب كل round إلى 4 أرقام عشرية. احسب TP/FP/FN مقابل positive_label؛ الدقة precision = TP/(TP+FP)، الاستدعاء recall = TP/(TP+FN)، و f1 هو المتوسط التوافقي، والدقة accuracy = correct/total. أعد 0.0 لأي مقياس يكون مقامه صفراً. يجب أن تطابق أرقامك قيم scikit-learn لـ precision_score/recall_score/f1_score.
سيفتح هذا التمرين قريبا
أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.
يقوم هذا المتصفح بحظر ملفات تعريف الارتباط لـ learn.floati.life، لذا لا يمكن فتح الدروس التي أنهيتها هنا بالترتيب. اسمح بملفات تعريف الارتباط لهذا الموقع وأعد التحميل.