المنهج الدراسي الدرس 99 من 246 · الوحدة 8: تشغيل Clinic I
الوحدة 8: تشغيل Clinic I

العيادة: بدء وتوسيع الأخطاء

لماذا هذا مهم أخطاء من Module 6 في الواقع: إنها تتوقف عن التعلم قبل أن يبدأ الأمر.

الوحدات الميتة: كل وحدة مخفية تكون مطفأة لكل مدخل، لذا لا يصل أي gradient إلى الطبقة الأولى ولا تخرج قيمة loss أبدا من 2.30. المدخلات غير المقيسة: تصل pixels كقيم من 0 إلى 16 بدلا من 0 إلى 1، وتكون activations ضخمة، وقيمة loss البداية أعلى بكثير من 2.30، والخطوات الأولى عنيفة. (فخ BatchNorm train/eval من Module 6 ينتمي إلى هنا أيضا؛ لقد واجهته بالفعل.)

كل حالة أدناه هي عملية تدريب تحتوي على عطل واحد مزروع فيها. لكل حالة: استهلك المجسات للعثور على العطل، ثم اكتب إصلاحا ك تغييرات في config. الأعطال في هذا الدرس: dead_units, unscaled_inputs, plus one fault from earlier. عدد أقل من المجسات هو الأفضل؛ فالمشخص الجيد نادرا ما يحتاج لأكثر من اثنين لكل حالة.

Probeما يخبرك به
loss_curve(c)خسارة التدريب كل 50 خطوة ودقة التحقق النهائية. انظر دائما أولا.
loss_at_init(c)Loss قبل التدريب. يجب أن يكون النموذج الجديد المكون من 10 فئات قريبا من ln(10) = 2.30.
overfit_one_batch(c)هل يمكنه حفظ 32 مثالا؟ الإعداد السليم يحصل على ما يقارب 0.
grad_norms(c)حجم Gradient لكل weight matrix في البداية. الصفر يعني أنه لا يمكن تعلم أي شيء.
update_ratio(c)حجم خطوة SGD العادي بالنسبة لحجم الوزن. القيمة الصحية هي حوالي 0.001 إلى 0.1 (قاعدة عامة لـ SGD العادي؛ يوضح Module 14 سبب اختلاف Adam).
act_stats(c)التنشيطات المخفية: المتوسط، أكبر قيمة، حصة الوحدات الميتة.
lr_schedule(c)معدل التعلم عند الخطوات 0، 50، 100 وما إلى ذلك.
batch_labels(c)التسميات في الدفعات الأولى.
overlap(c)كم عدد أمثلة التحقق التي تظهر أيضاً في التدريب.
الكلمات والرموز في هذا الدرس
probe
قياس سريع لعملية تشغيل، مثل أحجام gradient أو الوحدات غير النشطة
دورك

املأ diagnosis (من الحالة إلى اسم الخطأ) و fixes (من الحالة إلى قاموس تغييرات الإعدادات) للحالات A و B و C. يجب أن يقوم الإصلاح بإزالة الخطأ والتدريب حتى تصل دقة التحقق إلى 90% على الأقل.

هل لاحظت مشكلة في هذا الدرس؟ أبلغ عنها · اسأل عن هذا الدرس

سيفتح هذا التمرين قريبا

أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.