المنهج الدراسي الدرس 87 من 246 · الوحدة 7: العمل على بيانات جديدة
الوحدة 7: العمل على بيانات جديدة

الانحياز والتباين، وتضاؤل الأوزان كمعلومات سابقة

لماذا هذا مهم يظهر الإفراط في التخصيص كفجوة: خطأ التدريب أقل بكثير من الخطأ في البيانات الجديدة. هناك سببان قابلان للقياس خلف كل فجوة من هذا النوع، وهما يحتاجان إلى علاجات مختلفة.

قم بسحب خمس مجموعات تدريب جديدة من المصدر نفسه وقم بملاءمة نفس نوع النموذج لكل منها. انظر إلى التنبؤات الخمسة عند نقطة واحدة:

  • إذا اتفقوا جميعا ولكنهم جميعا على خطأ واحد: انحياز عالٍ (بسيط جدا).
  • إذا كانت تختلف بشكل كبير عن بعضها البعض: تباين عالٍ (مرنة للغاية، وتطارد الضجيج في كل مجموعة).

Variance هو مقدار التغير في النموذج عندما تتغير بيانات التدريب. التباين العالي هو السبب المعتاد لـ overfitting، لكن الكلمتين ليستا الشيء نفسه: overfitting هو الفجوة التي تراها، وvariance هو شيء واحد يمكنك قياسه خلفها.

تضاؤل الوزن كمعلومات سابقة

يضيف

Weight decay إلى alpha * (sum of weights squared) في الـ loss. من منظور الاحتمالات، هذا يعني قبل رؤية البيانات، "أعتقد أن الأوزان الصغيرة هي الأكثر احتمالاً". هذا الاعتقاد يسحب الملاءمات العشوائية نحو ملاءمات هادئة ويقلل الـ variance، مقابل القليل من الـ bias. بالنسبة لـ polynomial fitting، له حل دقيق يسمى ridge regression: w = solve(A.T A + alpha I, A.T y)، حيث يحتوي A على قوى x.

Prior: ما تعتقده حول الأوزان قبل رؤية البيانات. تلاشي الوزن هو Prior يفضل الأوزان الصغيرة.

الكلمات والرموز في هذا الدرس
الإفراط في التخصيص، نقص التخصيص
ملاءمة الضجيج في بيانات التدريب؛ أو بسيطة جداً لملاءمة النمط
bias، variance
الخطأ بنفس الطريقة في كل مرة؛ أو التغير كثيرا مع بيانات التدريب
prior
ما تعتقده حول الأوزان قبل رؤية البيانات
ridge (alpha)
أقل المربعات مع اضمحلال الوزن بقوة alpha
دورك

اكتب ridge_poly(x, y, deg, alpha) مع إرجاع المعاملات (أقل قوة أولا، باستخدام الصيغة أعلاه)، و spread_at_half(deg, alpha): قم بملاءمة خمس مجموعات تدريب (بذور من 0 إلى 4، 20 نقطة لكل منها، تم إنشاؤها بواسطة make_set) وأرجع الانحراف المعياري للتوقعات الخمسة عند x = 0.5. ثم اضبط high_variance على أي من الدرجات 1 أو 3 أو 12 (alpha 0) التي تمتلك أكبر تشتت.

هل لاحظت مشكلة في هذا الدرس؟ أبلغ عنها · اسأل عن هذا الدرس

سيفتح هذا التمرين قريبا

أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.