سرفصل‌ها درس 91 از 246 · ماژول 7: کار روی دادهٔ تازه
ماژول 7: کار روی دادهٔ تازه

فرود دوگانه

چرا مهم است قاعدهٔ کتاب درسی «پارامترهای بیشتر یعنی بیش‌برازش بیشتر» برای مدل‌های بزرگ می‌شکند. دیدن چرایی‌اش نگاه شما به اندازهٔ مدل را تغییر می‌دهد.

آن را ببینید

پویانمایی را پخش کنید. 40 نقطهٔ آموزشی را فقط با p ویژگی اول از 400 ویژگی موجود برازش می‌کنیم و در میان برازش‌های دقیق آن را که کوچک‌ترین وزن‌ها را دارد انتخاب می‌کنیم. وقتی p به سوی تعداد نقطه‌های آموزشی (40) رشد می‌کند، خطای آزمون، اول آهسته و سپس تند، تا قله‌ای دقیقاً جایی که این دو برابرند بالا می‌رود. آنجا مدل درست به اندازهٔ کافی آزادی دارد تا به هر نقطهٔ آموزشی برسد، و فقط یک راه برای این کار، که معمولاً وحشی است. پس از قله، برازش‌های دقیق بسیاری هست و انتخاب آنکه کوچک‌ترین وزن‌ها را دارد برازشی ملایم است: خطای آزمون دوباره پایین می‌آید و با ویژگی‌های کافی پایین‌تر از مدل‌های کوچک تمام می‌شود.

آستانهٔ درون‌یابی: اندازهٔ مدلی که در آن درست می‌تواند دادهٔ آموزشی را دقیقاً برازش کند. فرود دوگانه آنجا به قله می‌رسد.

پیش‌بینی منحنی: تعداد ویژگی‌هایی با بیشترین خطای آزمون را پیش‌بینی کنید، و اینکه آیا p = 400 از p = 5 بهتر است.

اعداد را صادقانه بخوانید

این اسباب‌بازی ساخته شده تا شکل منحنی را نشان دهد، نه اینکه خوب پیش‌بینی کند. سیگنالش به‌طور نازک روی همهٔ 400 ویژگی پخش شده و فقط 40 نقطهٔ آموزشی هست، پس هر مدلی اینجا ضعیف است: پیش‌بینی 0 برای همه چیز میانهٔ خطای آزمون حدود 1.01 می‌گیرد، p = 5 حدود 1.11 و p = 400 حدود 0.91. قله در p = 40 حدود 36 است. فرود دوم واقعی است، اما فقط کمی پایین‌تر از «هیچ چیز پیش‌بینی نکن» فرود می‌آید.

قله درمانی هم دارد که از قبل می‌شناسید. کاهش وزن (ridge) با شدتی که روی دادهٔ اعتبارسنجی انتخاب شده، به جای برازش دقیق با کوچک‌ترین وزن‌ها، خطا را در هر اندازه‌ای، از جمله p = 40 (حدود 1.02)، نزدیک 1.0 نگه می‌دارد. فرود دوگانه چیزی است که بر سر برازش‌های دقیق می‌آید؛ یک تنظیم‌کنندهٔ تنظیم‌شده جهش را حذف می‌کند.

واژه‌ها و نمادهای این درس
بیش‌برازش، کم‌برازش
برازش نویز دادهٔ آموزشی؛ یا سادگی بیش از حد برای برازش الگو
ridge (alpha)
کمترین مربعات با کاهش وزن به شدت alpha
آستانهٔ درون‌یابی
اندازهٔ مدلی که درست به اندازهٔ کافی برای برازش دقیق دادهٔ آموزشی است
نوبت شما

my_peak و my_400_beats_5 را پر کنید. سپس test_error(p) را بنویسید: برای بذرهای 0 تا 19، با np.linalg.pinv(X[:, :p]) @ y برازش کنید، میانگین مربع خطای آزمون را بسنجید و میانه روی بذرها را برگردانید.

مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید

این تمرین به‌زودی باز می‌شود

درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و می‌توانید همین الان این درس را بخوانید.