العيادة: أخطاء البيانات
لماذا هذا مهم "الخطأ دائما في النموذج" هي عبارة خاطئة. أخطاء البيانات شائعة وتختبئ جيدا، لأن حلقة التدريب نفسها سليمة.
تسريب: تحتوي مجموعة التحقق على أمثلة تدريب، لذا تبدو دقة التحقق رائعة ولا تعني شيئا. عدم الخلط: تأتي الدفعات فئة واحدة في كل مرة، ويطارد النموذج أي فئة رآها آخر، وتكون الدقة على البيانات المختلطة ضعيفة. تسميات خاطئة: العديد من تسميات التدريب عشوائية، لذا لا يمكن لخسارة التدريب أن تنخفض كثيرا حتى لو استطاع النموذج حفظ دفعة واحدة.
كل حالة أدناه هي عملية تدريب تحتوي على عطل واحد مزروع فيها. لكل حالة: استهلك المجسات للعثور على العطل، ثم اكتب إصلاحا كـ config changes. الأعطال في هذا الدرس: leak, no_shuffle, noisy_labels. عدد أقل من المجسات هو الأفضل؛ نادرا ما يحتاج المختص الجيد لأكثر من اثنين لكل حالة.
| Probe | ما يخبرك به |
|---|---|
loss_curve(c) | خسارة التدريب كل 50 خطوة ودقة التحقق النهائية. انظر دائما أولا. |
loss_at_init(c) | Loss قبل التدريب. يجب أن يكون النموذج الجديد المكون من 10 فئات قريبا من ln(10) = 2.30. |
overfit_one_batch(c) | هل يمكنه حفظ 32 مثالا؟ الإعداد السليم يحصل على ما يقارب 0. |
grad_norms(c) | حجم Gradient لكل مصفوفة weight في البداية. الصفر يعني أنه لا يمكن تعلم أي شيء. |
update_ratio(c) | حجم خطوة SGD العادية بالنسبة لحجم الوزن. القيمة الصحية هي حوالي 0.001 إلى 0.1 (قاعدة عامة لـ SGD العادية؛ يوضح Module 14 لماذا يختلف Adam). |
act_stats(c) | التنشيطات المخفية: المتوسط، أكبر قيمة، حصة الوحدات الميتة. |
lr_schedule(c) | معدل التعلم عند الخطوات 0، 50، 100 وما إلى ذلك. |
batch_labels(c) | التسميات في الدفعات الأولى. |
overlap(c) | كم عدد أمثلة التحقق التي تظهر أيضاً في التدريب. |
الكلمات والرموز في هذا الدرس
- probe
- قياس سريع لتشغيل، مثل أحجام gradient أو الوحدات غير النشطة
- leakage معلومات
- test أو التحقق التي تصل إلى التدريب
املأ diagnosis (من الحالة إلى اسم الخطأ) و fixes (من الحالة إلى قاموس تغييرات الإعدادات) للحالات A و B و C. يجب أن يقوم الإصلاح بإزالة الخطأ والتدريب حتى تصل دقة التحقق إلى 90% على الأقل.
سيفتح هذا التمرين قريبا
أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.
يقوم هذا المتصفح بحظر ملفات تعريف الارتباط لـ learn.floati.life، لذا لا يمكن فتح الدروس التي أنهيتها هنا بالترتيب. اسمح بملفات تعريف الارتباط لهذا الموقع وأعد التحميل.