سرفصل‌ها درس 109 از 246 · ماژول 9: آیا واقعاً بهتر است؟
ماژول 9: آیا واقعاً بهتر است؟

مقایسهٔ منصفانهٔ دو مدل

چرا مهم است برگردیم به درس 1. این راه درست تصمیم‌گیری است.

هر دو مدل به همان 100 نمونه پاسخ دادند. پس بر هر امتیاز جداگانه میلهٔ خطا نگذارید؛ یک میله بر تفاوت بگذارید، با نمونه‌گیری دوبارهٔ نمونه‌ها به‌صورت جفت. هر نمونه‌گیری 100 نمونه را با جایگذاری برمی‌دارد و درستی B منهای A را روی همان نمونه‌ها محاسبه می‌کند. اگر بازهٔ 95% آن تفاوت 0 را شامل شود، داده نمی‌تواند مدل‌ها را از هم تشخیص دهد.

مقایسهٔ جفتی: مقایسهٔ دو مدل نمونه به نمونه روی همان مجموعهٔ آزمون، که اثر دشواری هر نمونه را خنثی می‌کند.

اینکه 100 تصویر درس 1 چگونه انتخاب شدند، صادقانه: خواننده‌ها شبیه‌سازی شده‌اند و دوره کشیدنی از 100 تصویر را انتخاب کرد که در آن A اتفاقاً 4 امتیاز از B جلوتر است. در 2,000 کشیدن تصادفی 100 تصویر، A فقط 8% مواقع 4 امتیاز یا بیشتر جلو بود؛ B در نیمی از آن‌ها جلو افتاد و 14% مساوی بودند. نوعی شانس واقعی است که برای رساندن نکته انتخاب شده: یک مجموعهٔ آزمون تنها از 100 نمونه می‌تواند جهت اشتباه را نشان دهد.

واژه‌ها و نمادهای این درس
bootstrap
نمونه‌گیری دوباره از مجموعهٔ آزمون با تکرار تا ببینید یک امتیاز چقدر نوسان دارد
بازهٔ 95%
95% میانی امتیازهای نمونه‌گیری‌شده
مقایسهٔ جفتی
مقایسهٔ دو مدل روی همان نمونه‌ها، نمونه به نمونه
نوبت شما

paired_diff_ci(a, b, n=2000, seed=0) (بازهٔ B منهای A، با نمونه‌گیری دوبارهٔ نمایهٔ نمونه‌ها مثل درس bootstrap) و verdict(a, b) را بنویسید که "A"، "B" یا "no clear difference" برمی‌گرداند. آن را روی مدل‌های درس 1 اجرا کنید.

مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید

این تمرین به‌زودی باز می‌شود

درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و می‌توانید همین الان این درس را بخوانید.