سوگیری و واریانس، و کاهش وزن بهعنوان یک پیشین
چرا مهم است بیشبرازش بهصورت یک فاصله آشکار میشود: خطای آموزش بسیار پایینتر از خطا روی دادهٔ تازه. دو علت قابل سنجش پشت هر چنین فاصلهای هست و درمانهای متفاوتی لازم دارند.
پنج مجموعهٔ آموزشی تازه از همان منبع بکشید و همان نوع مدل را بر هر کدام برازش کنید. به پنج پیشبینی در یک نقطه نگاه کنید:
- اگر همه موافقاند اما همه به یک شکل اشتباهاند: سوگیری بالا (خیلی ساده).
- اگر بهشدت با هم مخالفاند: واریانس بالا (خیلی انعطافپذیر، در تعقیب نویز هر مجموعه).
واریانس این است که مدل وقتی دادهٔ آموزشی تغییر میکند چقدر تغییر میکند. واریانس بالا علت معمول بیشبرازش است، اما این دو واژه یک چیز نیستند: بیشبرازش فاصلهای است که میبینید، واریانس یک چیز است که میتوانید پشت آن بسنجید.
کاهش وزن بهعنوان یک پیشین
کاهش وزن alpha * (sum of weights squared) را به زیان اضافه میکند. به زبان احتمال، پیش از دیدن داده میگوید «باور دارم وزنهای کوچک محتملترند». آن باور برازشهای وحشی را به سوی برازشهای آرام میکشد و واریانس را پایین میآورد، به بهای کمی سوگیری. برای برازش چندجملهای راهحلی دقیق به نام رگرسیون ridge دارد: w = solve(A.T A + alpha I, A.T y)، که A توانهای x را نگه میدارد.
پیشین: آنچه پیش از دیدن داده دربارهٔ وزنها باور دارید. کاهش وزن پیشینی است که وزنهای کوچک را ترجیح میدهد.
واژهها و نمادهای این درس
- بیشبرازش، کمبرازش
- برازش نویز دادهٔ آموزشی؛ یا سادگی بیش از حد برای برازش الگو
- سوگیری، واریانس
- هر بار به یک شکل اشتباه کردن؛ یا تغییر زیاد با دادهٔ آموزشی
- پیشین (prior)
- آنچه پیش از دیدن داده دربارهٔ وزنها باور دارید
- ridge (alpha)
- کمترین مربعات با کاهش وزن به شدت alpha
ridge_poly(x, y, deg, alpha) را بنویسید که ضریبها (کمترین توان اول، با فرمول بالا) را برمیگرداند، و spread_at_half(deg, alpha) را: پنج مجموعهٔ آموزشی (بذرهای 0 تا 4، هر کدام 20 نقطه، ساختهشده با make_set) را برازش کنید و انحراف معیار پنج پیشبینی در x = 0.5 را برگردانید. سپس high_variance را برابر هر کدام از درجههای 1، 3 یا 12 (alpha 0) که بیشترین پراکندگی را دارد قرار دهید.
مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید
این تمرین بهزودی باز میشود
درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و میتوانید همین الان این درس را بخوانید.
این مرورگر کوکیهای learn.floati.life را مسدود میکند، پس درسهایی که اینجا تمام کردید نمیتوانند به ترتیب باز شوند. کوکیها را برای این سایت مجاز کنید و صفحه را دوباره بارگذاری کنید.