الوصفة: فحصان قبل أي شيء آخر
لماذا هذا مهم يمكن اكتشاف معظم الأخطاء البرمجية في دقيقة واحدة عبر فحصين بسيطين قبل أن تقضي ساعة في التدريب.
يبدأ الممارسون ذوو الخبرة كل إعداد جديد بنفس الطريقة:
- تحقق من الخسارة في البداية. قبل التدريب، يعطي نموذج مكون من 10 فئات لا يعرف شيئا كل فئة حوالي 0.1، لذا يجب أن تكون خسارته حوالي -ln(0.1) = 2.30. القيمة الأعلى بكثير من ذلك تعني أن هناك شيئا ما تم قياسه بشكل خاطئ. القيمة الأقل بكثير تعني أن الإجابة تصل إلى النموذج عبر مدخلاته. لا تظهر كل التسريبات هنا: عندما تكون صور التحقق موجودة أيضا في مجموعة التدريب، تكون الخسارة البدائية طبيعية (تبدأ كل من التشغيل السليم لهذه العيادة وحالة التسريب الخاصة بها عند 2.46)، وتؤدي فقط درجة التحقق الجيدة جدا إلى كشفها.
- إفراط في التخصيص لدفعة واحدة. تدريب على دفعة صغيرة واحدة لعدة مئات من الخطوات. أي نموذج يعمل وحلقة تدريب يمكنها حفظ 32 مثالاً وجعل الخسارة قريبة من الصفر. إذا لم تستطع، فالعطل في النموذج أو الخسارة أو التدرجات، وقد وجدته دون لمس البيانات الكاملة.
- فقط حينها، قم بالتوسع إلى التشغيل الكامل.
هذه العيادة هي مصنف أرقام صغير يمكنك كسرها عمدا. config(**changes) يقوم بإعدادها؛ train(c) يشغلها.
| Probe | ما يخبرك به |
|---|---|
loss_curve(c) | خسارة التدريب كل 50 خطوة ودقة التحقق النهائية. انظر دائما أولا. |
loss_at_init(c) | Loss قبل التدريب. يجب أن يكون النموذج الجديد المكون من 10 فئات قريبا من ln(10) = 2.30. |
overfit_one_batch(c) | هل يمكنه حفظ 32 مثالا؟ الإعداد السليم يحصل على ما يقارب 0. |
grad_norms(c) | حجم Gradient لكل مصفوفة weight في البداية. الصفر يعني أنه لا يمكن تعلم أي شيء. |
update_ratio(c) | حجم خطوة SGD العادي بالنسبة لحجم الوزن. القيمة الصحية هي حوالي 0.001 إلى 0.1 (قاعدة عامة لـ SGD العادي؛ يوضح Module 14 لماذا يختلف Adam). |
act_stats(c) | التنشيطات المخفية: المتوسط، أكبر قيمة، حصة الوحدات الميتة. |
lr_schedule(c) | معدل التعلم عند الخطوات 0، 50، 100 وما إلى ذلك. |
batch_labels(c) | التسميات في الدفعات الأولى. |
overlap(c) | كم عدد أمثلة التحقق التي تظهر أيضاً في التدريب. |
الكلمات والرموز في هذا الدرس
- probe
- قياس سريع لتشغيل، مثل أحجام gradient أو الوحدات غير النشطة
- إفراط في التخصيص لدفعة واحدة
- التحقق من الإعداد يمكنه حفظ بعض الأمثلة
اكتب sanity(c) التي تعيد قاموسا يحتوي على init_ok (الخسارة في البداية ضمن 0.3 من 2.30) و can_overfit (خسارة overfitting-one-batch أقل من 0.1)، باستخدام الـ probes. طبقها على الإعداد السليم وعلى suspect.
سيفتح هذا التمرين قريبا
أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.
يقوم هذا المتصفح بحظر ملفات تعريف الارتباط لـ learn.floati.life، لذا لا يمكن فتح الدروس التي أنهيتها هنا بالترتيب. اسمح بملفات تعريف الارتباط لهذا الموقع وأعد التحميل.