العيادة: أخطاء الفقد والمخرجات
لماذا هذا مهم تسمح هذه الأخطاء باستمرار التدريب وانخفاض الـ loss، لذا فهي تبقى لفترة طويلة في الكود الحقيقي.
تطبيق Softmax مرتين: ترى الخسارة الاحتمالات كأنها درجات، فتنكمش التدرجات، ولا يستطيع النموذج حتى حفظ دفعة واحدة، وتنزل الخسارة ببطء شديد. الأهداف المُزاحة: كل تسمية مُزاحة بواحد، فيتعلّم النموذج جيداً تماماً، لكن الإجابات الخاطئة: خسارة التدريب منخفضة، ودقة التحقق قريبة من الصفر.
كل حالة أدناه هي عملية تدريب تحتوي على عطل واحد مزروع فيها. لكل حالة: استهلك المجسات للعثور على العطل، ثم اكتب إصلاحا ك تغييرات في config. الأعطال في هذا الدرس: softmax_twice, shifted_targets, plus one fault from earlier. عدد أقل من المجسات هو الأفضل؛ فالمشخص الجيد نادرا ما يحتاج لأكثر من اثنين لكل حالة.
| Probe | ما يخبرك به |
|---|---|
loss_curve(c) | خسارة التدريب كل 50 خطوة ودقة التحقق النهائية. انظر دائما أولا. |
loss_at_init(c) | Loss قبل التدريب. يجب أن يكون النموذج الجديد المكون من 10 فئات قريبا من ln(10) = 2.30. |
overfit_one_batch(c) | هل يمكنه حفظ 32 مثالا؟ الإعداد السليم يحصل على ما يقارب 0. |
grad_norms(c) | حجم Gradient لكل مصفوفة weight في البداية. الصفر يعني أنه لا يمكن تعلم أي شيء. |
update_ratio(c) | حجم خطوة SGD العادية بالنسبة لحجم الوزن. القيمة الصحية هي حوالي 0.001 إلى 0.1 (قاعدة عامة لـ SGD العادية؛ يوضح Module 14 لماذا يختلف Adam). |
act_stats(c) | التنشيطات المخفية: المتوسط، أكبر قيمة، حصة الوحدات الميتة. |
lr_schedule(c) | معدل التعلم عند الخطوات 0، 50، 100 وما إلى ذلك. |
batch_labels(c) | التسميات في الدفعات الأولى. |
overlap(c) | كم عدد أمثلة التحقق التي تظهر أيضاً في التدريب. |
الكلمات والرموز في هذا الدرس
- probe
- قياس سريع لعملية تشغيل، مثل أحجام gradient أو الوحدات غير النشطة
املأ diagnosis (من الحالة إلى اسم الخطأ) و fixes (من الحالة إلى قاموس تغييرات الإعدادات) للحالات A و B و C. يجب أن يقوم الإصلاح بإزالة الخطأ والتدريب حتى تصل دقة التحقق إلى 90% على الأقل.
سيفتح هذا التمرين قريبا
أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.
يقوم هذا المتصفح بحظر ملفات تعريف الارتباط لـ learn.floati.life، لذا لا يمكن فتح الدروس التي أنهيتها هنا بالترتيب. اسمح بملفات تعريف الارتباط لهذا الموقع وأعد التحميل.