فخ التدريب/التقييم
لماذا هذا مهم النموذج الذي يحقق نتائج جيدة في الاختبار ونتائج سيئة في الاستخدام، بدون سبب واضح، هو غالباً هذا الخطأ. لقد خدع هذا الأمر مهندسين ذوي خبرة.
يحتوي المصنف الصغير على طبقة BatchNorm. تم تدريبه بشكل صحيح ومتوسطاته التشغيلية جيدة. في مجموعة الاختبار، عند التقييم في دفعات كبيرة، يؤدي بشكل جيد. عند استخدامه على مثال واحد في كل مرة، فإنه يخطئ كثيرا جدا.
عمل استقصائي أولا: اطبع ما تخرجه طبقة BatchNorm لمثالين مختلفين، واسأل نفسك عن الإحصائيات التي تقوم بتطبيعها. استنتج ذلك مما قمت بطباعته؛ التلميحات الثلاثة ترشدك إلى هناك إذا تعثرت.
الكلمات والرموز في هذا الدرس
- Xavier، LeCun، He
- تبدأ الأوزان بـ sqrt(2 / (inputs + outputs)) أو 1 / sqrt(inputs) لـ tanh، و sqrt(2 / inputs) لـ ReLU
- BatchNorm (gamma, beta)
- قم بتطبيع كل ميزة عبر الدفعة، ثم أعد التحجيم باستخدام gamma و beta المتعلمين
يتم استخدام
predict_one(x) على مثال واحد في كل مرة، ودقته ضعيفة. اكتشف السبب، ثم قم بإصلاح predict_one لتكون الدقة المحجوزة 90% على الأقل. اضبط cause على عبارة قصيرة تذكر السبب.
سيفتح هذا التمرين قريبا
أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.
يقوم هذا المتصفح بحظر ملفات تعريف الارتباط لـ learn.floati.life، لذا لا يمكن فتح الدروس التي أنهيتها هنا بالترتيب. اسمح بملفات تعريف الارتباط لهذا الموقع وأعد التحميل.