العيادة: أخطاء معدل التعلم
لماذا هذا مهم معدل التعلم هو السبب الأكثر شيوعا للتشغيل السيئ. كل نوع من الخطأ يترك أثرا مختلفا.
مرتفع جدا: تتجاوز الخطوات الهدف، ويقفز الخسارة أو يرتفع، وتكون نسبة التحديث إلى الوزن قريبة من 1 أو فوقها. منخفض جدا: لا يتحرك شيء تقريبا، وتستقر الخسارة بالقرب من 2.30 وتكون النسبة ضئيلة. تم الإسقاط مبكرا جدا: يتعلم التشغيل لفترة، ثم يتوقف عن التحسن: من ذلك الوقت تتذبذب الخسارة فقط من دفعة إلى أخرى حول مستوى متوسط (هنا بين حوالي 1.1 و 1.5)؛ يظهر الجدول انخفاض المعدل.
كل حالة أدناه هي عملية تدريب تحتوي على عطل واحد مزروع فيها. لكل حالة: استهلك المجسات للعثور على العطل، ثم اكتب إصلاحا ك تغييرات في config. الأعطال في هذا الدرس: lr_too_high, lr_too_low, lr_dropped_early. عدد المجسات الأقل هو الأفضل؛ فالمشخص الجيد نادرا ما يحتاج لأكثر من اثنين لكل حالة.
| Probe | ما يخبرك به |
|---|---|
loss_curve(c) | خسارة التدريب كل 50 خطوة ودقة التحقق النهائية. انظر دائما أولا. |
loss_at_init(c) | Loss قبل التدريب. يجب أن يكون النموذج الجديد المكون من 10 فئات قريبا من ln(10) = 2.30. |
overfit_one_batch(c) | هل يمكنه حفظ 32 مثالا؟ الإعداد السليم يحصل على ما يقارب 0. |
grad_norms(c) | حجم Gradient لكل مصفوفة weight في البداية. الصفر يعني أنه لا يمكن تعلم أي شيء. |
update_ratio(c) | حجم خطوة SGD العادي بالنسبة لحجم الوزن. القيمة الصحية هي حوالي 0.001 إلى 0.1 (قاعدة عامة لـ SGD العادي؛ يوضح Module 14 لماذا يختلف Adam). |
act_stats(c) | التنشيطات المخفية: المتوسط، أكبر قيمة، حصة الوحدات الميتة. |
lr_schedule(c) | معدل التعلم عند الخطوات 0 و 50 و 100 وما إلى ذلك. |
batch_labels(c) | التسميات في الدفعات الأولى. |
overlap(c) | كم عدد أمثلة التحقق التي تظهر أيضاً في التدريب. |
الكلمات والرموز في هذا الدرس
- probe
- قياس سريع لعملية التشغيل، مثل أحجام gradient أو الوحدات غير النشطة
- نسبة التحديث إلى الوزن
- كم تغير الخطوة الواحدة لكل وزن، بالنسبة لحجمه
املأ diagnosis (من الحالة إلى اسم الخطأ) و fixes (من الحالة إلى قاموس تغييرات الإعدادات) للحالات A و B و C. يجب أن يقوم الإصلاح بإزالة الخطأ والتدريب حتى تصل دقة التحقق إلى 90% على الأقل.
سيفتح هذا التمرين قريبا
أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.
يقوم هذا المتصفح بحظر ملفات تعريف الارتباط لـ learn.floati.life، لذا لا يمكن فتح الدروس التي أنهيتها هنا بالترتيب. اسمح بملفات تعريف الارتباط لهذا الموقع وأعد التحميل.