مقایسهٔ منصفانهٔ دو مدل
چرا مهم است برگردیم به درس 1. این راه درست تصمیمگیری است.
هر دو مدل به همان 100 نمونه پاسخ دادند. پس بر هر امتیاز جداگانه میلهٔ خطا نگذارید؛ یک میله بر تفاوت بگذارید، با نمونهگیری دوبارهٔ نمونهها بهصورت جفت. هر نمونهگیری 100 نمونه را با جایگذاری برمیدارد و درستی B منهای A را روی همان نمونهها محاسبه میکند. اگر بازهٔ 95% آن تفاوت 0 را شامل شود، داده نمیتواند مدلها را از هم تشخیص دهد.
مقایسهٔ جفتی: مقایسهٔ دو مدل نمونه به نمونه روی همان مجموعهٔ آزمون، که اثر دشواری هر نمونه را خنثی میکند.
اینکه 100 تصویر درس 1 چگونه انتخاب شدند، صادقانه: خوانندهها شبیهسازی شدهاند و دوره کشیدنی از 100 تصویر را انتخاب کرد که در آن A اتفاقاً 4 امتیاز از B جلوتر است. در 2,000 کشیدن تصادفی 100 تصویر، A فقط 8% مواقع 4 امتیاز یا بیشتر جلو بود؛ B در نیمی از آنها جلو افتاد و 14% مساوی بودند. نوعی شانس واقعی است که برای رساندن نکته انتخاب شده: یک مجموعهٔ آزمون تنها از 100 نمونه میتواند جهت اشتباه را نشان دهد.
واژهها و نمادهای این درس
- bootstrap
- نمونهگیری دوباره از مجموعهٔ آزمون با تکرار تا ببینید یک امتیاز چقدر نوسان دارد
- بازهٔ 95%
- 95% میانی امتیازهای نمونهگیریشده
- مقایسهٔ جفتی
- مقایسهٔ دو مدل روی همان نمونهها، نمونه به نمونه
paired_diff_ci(a, b, n=2000, seed=0) (بازهٔ B منهای A، با نمونهگیری دوبارهٔ نمایهٔ نمونهها مثل درس bootstrap) و verdict(a, b) را بنویسید که "A"، "B" یا "no clear difference" برمیگرداند. آن را روی مدلهای درس 1 اجرا کنید.
مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید
این تمرین بهزودی باز میشود
درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و میتوانید همین الان این درس را بخوانید.
این مرورگر کوکیهای learn.floati.life را مسدود میکند، پس درسهایی که اینجا تمام کردید نمیتوانند به ترتیب باز شوند. کوکیها را برای این سایت مجاز کنید و صفحه را دوباره بارگذاری کنید.