الانحياز والتباين، وتضاؤل الأوزان كمعلومات سابقة
لماذا هذا مهم يظهر الإفراط في التخصيص كفجوة: خطأ التدريب أقل بكثير من الخطأ في البيانات الجديدة. هناك سببان قابلان للقياس خلف كل فجوة من هذا النوع، وهما يحتاجان إلى علاجات مختلفة.
قم بسحب خمس مجموعات تدريب جديدة من المصدر نفسه وقم بملاءمة نفس نوع النموذج لكل منها. انظر إلى التنبؤات الخمسة عند نقطة واحدة:
- إذا اتفقوا جميعا ولكنهم جميعا على خطأ واحد: انحياز عالٍ (بسيط جدا).
- إذا كانت تختلف بشكل كبير عن بعضها البعض: تباين عالٍ (مرنة للغاية، وتطارد الضجيج في كل مجموعة).
Variance هو مقدار التغير في النموذج عندما تتغير بيانات التدريب. التباين العالي هو السبب المعتاد لـ overfitting، لكن الكلمتين ليستا الشيء نفسه: overfitting هو الفجوة التي تراها، وvariance هو شيء واحد يمكنك قياسه خلفها.
تضاؤل الوزن كمعلومات سابقة
يضيفWeight decay إلى alpha * (sum of weights squared) في الـ loss. من منظور الاحتمالات، هذا يعني قبل رؤية البيانات، "أعتقد أن الأوزان الصغيرة هي الأكثر احتمالاً". هذا الاعتقاد يسحب الملاءمات العشوائية نحو ملاءمات هادئة ويقلل الـ variance، مقابل القليل من الـ bias. بالنسبة لـ polynomial fitting، له حل دقيق يسمى ridge regression: w = solve(A.T A + alpha I, A.T y)، حيث يحتوي A على قوى x.
Prior: ما تعتقده حول الأوزان قبل رؤية البيانات. تلاشي الوزن هو Prior يفضل الأوزان الصغيرة.
الكلمات والرموز في هذا الدرس
- الإفراط في التخصيص، نقص التخصيص
- ملاءمة الضجيج في بيانات التدريب؛ أو بسيطة جداً لملاءمة النمط
- bias، variance
- الخطأ بنفس الطريقة في كل مرة؛ أو التغير كثيرا مع بيانات التدريب
- prior
- ما تعتقده حول الأوزان قبل رؤية البيانات
- ridge (alpha)
- أقل المربعات مع اضمحلال الوزن بقوة alpha
اكتب ridge_poly(x, y, deg, alpha) مع إرجاع المعاملات (أقل قوة أولا، باستخدام الصيغة أعلاه)، و spread_at_half(deg, alpha): قم بملاءمة خمس مجموعات تدريب (بذور من 0 إلى 4، 20 نقطة لكل منها، تم إنشاؤها بواسطة make_set) وأرجع الانحراف المعياري للتوقعات الخمسة عند x = 0.5. ثم اضبط high_variance على أي من الدرجات 1 أو 3 أو 12 (alpha 0) التي تمتلك أكبر تشتت.
سيفتح هذا التمرين قريبا
أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.
يقوم هذا المتصفح بحظر ملفات تعريف الارتباط لـ learn.floati.life، لذا لا يمكن فتح الدروس التي أنهيتها هنا بالترتيب. اسمح بملفات تعريف الارتباط لهذا الموقع وأعد التحميل.