المنهج الدراسي الدرس 91 من 246 · الوحدة 7: العمل على بيانات جديدة
الوحدة 7: العمل على بيانات جديدة

الهبوط المزدوج

لماذا هذا مهم قاعدة الكتاب المدرسي "المزيد من المعاملات يعني المزيد من الإفراط في التخصيص" لا تنطبق على النماذج الكبيرة. رؤية السبب تغير طريقة تفكيرك في حجم النموذج.

شاهده

قم بتشغيل الرسوم المتحركة. نقوم بملاءمة 40 نقطة تدريب باستخدام أول p فقط من أصل 400 ميزة متاحة، ونختار من بين الملاءمات الدقيقة تلك التي تمتلك أصغر الأوزان. كلما زادت p نحو عدد نقاط التدريب (40)، يرتفع خطأ الاختبار، ببطء ثم بحدة، ليصل إلى ذروة بالضبط حيث يتساوى الطرفان. هناك يمتلك النموذج حرية كافية فقط لضرب كل نقطة تدريب، وطريقة واحدة فقط للقيام بذلك، وهي عادة ما تكون عشوائية. بعد الذروة، توجد ملاءمات دقيقة كثيرة واختيار تلك ذات الأوزان الأصغر هو ملاءمة لطيفة: ينخفض خطأ الاختبار مرة أخرى، ومع وجود ميزات كافية ينتهي عند مستوى أقل من النماذج الصغيرة.

عتبة الاستيفاء: حجم النموذج الذي يمكنه ملاءمة بيانات التدريب بالضبط. تصل قمم الهبوط المزدوج إلى هناك.

توقّع المنحنى: توقع عدد الميزات ذات أعلى خطأ في الاختبار، وما إذا كانت p = 400 تتفوق على p = 5.

اقرأ الأرقام بصدق

هذه اللعبة مصممة لإظهار شكل المنحنى وليس للتنبؤ بشكل جيد. إشارتها موزعة بشكل رقيق على جميع الـ 400 ميزة وهناك 40 نقطة تدريب فقط، لذا كل نموذج هنا ضعيف: التنبؤ بـ 0 لكل شيء يعطي متوسط خطأ اختبار يبلغ حوالي 1.01، و p = 5 يعطي حوالي 1.11 و p = 400 يعطي حوالي 0.91. الذروة عند p = 40 تبلغ حوالي 36. الهبوط الثاني حقيقي، لكنه يهبط فقط قليلاً تحت "عدم التنبؤ بأي شيء".

يوجد علاج لهذه الذروة تعرفه بالفعل. تقليل الوزن (ridge) بقوة مختارة بناءً على بيانات التحقق، بدلاً من المطابقة الدقيقة لأصغر الأوزان، يحافظ على الخطأ قريباً من 1.0 عند كل حجم، بما في ذلك p = 40 (حوالي 1.02). الهبوط المزدوج هو ما يحدث للمطابقات الدقيقة؛ أما المنظم المضبوط فيزيل الذروة.

الكلمات والرموز في هذا الدرس
الإفراط في التخصيص، نقص التخصيص
ملاءمة الضجيج في بيانات التدريب؛ أو بسيطة جداً لملاءمة النمط
ridge (alpha)
أقل المربعات مع تلاشي الوزن بقوة alpha
عتبة الاستيفاء
حجم النموذج الذي يمكنه استيعاب بيانات التدريب بالضبط
دورك

املأ my_peak و my_400_beats_5. ثم اكتب test_error(p): للبذور من 0 إلى 19، قم بالتدريب باستخدام np.linalg.pinv(X[:, :p]) @ y، وقس متوسط الخطأ التربيعي للاختبار، وأرجع الوسيط عبر البذور.

هل لاحظت مشكلة في هذا الدرس؟ أبلغ عنها · اسأل عن هذا الدرس

سيفتح هذا التمرين قريبا

أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.