التقسيم والتسريب
لماذا هذا مهم إذا وصلت أي معلومات من بيانات الاختبار إلى التدريب، فلن تكون نتيجة الاختبار اختبارا حقيقيا. هذه هي الطريقة الأكثر شيوعا التي ينشر بها الأشخاص النزيهون أرقاما خاطئة.
القاعدة: يجب ألا يكون لمجموعة الاختبار أي دور في أي قرار، بما في ذلك المعالجة المسبقة. هناك ثلاث طرق يتسلل بها:
- القياس مع كل البيانات.حساب المتوسط والانتشار في كل صف، بما في ذلك صفوف الاختبار، دعنا نختبر كيف تشكل القيم مدخلات التدريب. صغيرة، لكنها حقيقية.
- اختيار الميزات مع جميع التسميات. اختيار الميزات الأكثر ارتباطا بالتسمية، باستخدام تسميات الاختبار أيضا، يمكن أن يجعل الضوضاء الصافية تبدو تنبؤية. هذا الأمر يمكن أن يكون كبيرا جدا.
- تكرار عبر التقسيم. نفس المثال في كلتا المجموعتين: يتم اختبار النموذج على شيء حفظه.
Leakage: معلومات الاختبار التي تصل إلى عملية التدريب، مما يجعل النتائج تبدو أفضل مما هي عليه في الواقع.
اجعل leaky قاموسا يوضح أي من الأنابيب الثلاثة يسرب. ثم اكتب pipeline_3_fixed(X, y): نفس الفكرة، اختيار الميزات الخمس باستخدام أول 200 صف فقط.
سيفتح هذا التمرين قريبا
أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.
يقوم هذا المتصفح بحظر ملفات تعريف الارتباط لـ learn.floati.life، لذا لا يمكن فتح الدروس التي أنهيتها هنا بالترتيب. اسمح بملفات تعريف الارتباط لهذا الموقع وأعد التحميل.