المنهج الدراسي الدرس 107 من 246 · الوحدة 9: هل هو أفضل حقا؟
الوحدة 9: هل هو أفضل حقا؟

هل تعني نسبة تأكد 80% أن الإجابة صحيحة بنسبة 80% من الوقت؟

لماذا هذا مهم ثقة النموذج مفيدة فقط إذا كانت صادقة. مساعد الطبيب الذي يقول "متأكد بنسبة 90%" ويكون على حق في نصف الأوقات هو أمر خطير.

نموذج

A يعتبر calibrated إذا كانت حوالي 80% من التوقعات التي يقدمها بثقة تقارب 80% صحيحة. للتحقق: رتب التوقعات في فئات حسب الثقة (من 0 إلى 0.1، ومن 0.1 إلى 0.2، وهكذا)؛ في كل فئة قارن متوسط الثقة بالدقة الفعلية. رسم أحدهما مقابل الآخر هو reliability diagram؛ المعايرة المثالية هي الخط القطري.

خطأ المعايرة المتوقع (ECE) يجمع الفجوة في كل bin، موزونة بعدد التنبؤات التي وقعت فيها: sum over bins of (count / total) * |accuracy - confidence|.

أرقام صغيرة

أربعة تنبؤات بمستوى ثقة 0.9، منها 2 صحيحان: فجوة ذلك الصندوق هي |0.5 - 0.9| = 0.4. إذا كانت هذه هي كل التنبؤات، فإن ECE = 0.4.

الكلمات والرموز في هذا الدرس
calibration, ECE
سواء كانت الثقة تطابق الدقة؛ فجوة المتوسط الموزون
دورك

اكتب ece(confidence, correct, bins=10) باستخدام bins متساوية العرض من 0 إلى 1 (ثقة بقيمة 1.0 بالضبط تذهب إلى bin العلوي؛ تخطى الـ bins الفارغة).

هل لاحظت مشكلة في هذا الدرس؟ أبلغ عنها · اسأل عن هذا الدرس

سيفتح هذا التمرين قريبا

أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.