سرفصل‌ها درس 235 از 246 · ماژول 22: سنجیدن ادعاها
ماژول 22: سنجیدن ادعاها

دروازه: یک ادعا را بازبینی کنید (هوش مصنوعی خاموش)

چرا مهم است خواندن انتقادی نتایج مهارتی است که روی هر مقاله، کارت مدل و جدول محک به کار می‌برید. قواعد ساده‌اند؛ اعمال آن‌ها هر بار، بی‌آنکه به شما بگویند کدام مهم است، همان مهارت است.

قواعد دروازه: دستیار هوش مصنوعی خاموش. review(claim) را بنویسید. یک ادعا می‌گوید «مدل A از مدل B بهتر است» و با زیان هر بذر هر مدل و سهمی از مجموعهٔ آزمون که در دادهٔ آموزشی پیدا شده می‌آید. به ترتیب:

  1. اگر بیش از 10% مجموعهٔ آزمون در دادهٔ آموزشی بود، "leaked" برگردانید: به هیچ امتیازی روی آن نمی‌توان اعتماد کرد.
  2. اگر هر یک از مدل‌ها کمتر از 2 بذر دارد، "not shown" برگردانید: پراکندگی ناشناخته است.
  3. diff = mean(B) - mean(A) (وقتی A بهتر است مثبت) و se = sqrt(var(A) / nA + var(B) / nB)، با واریانس‌های نمونه (ddof=1). اگر diff > 2 se، "shown"، اگر diff < -2 se، "contradicted"، و در غیر این صورت "not shown" برگردانید.

بررسی تابع شما را روی شش ادعای تازه، در هر بررسی متفاوت، از جمله موردهای مرزی اجرا می‌کند: یک بذر، هم‌پوشانی دقیقاً 10%، بذرهایی که دقیقاً یکسان‌اند.

واژه‌ها و نمادهای این درس
آلودگی (نشت)
نمونه‌های آزمونی که در دادهٔ آموزشی هم بودند
بذر
عددی که انتخاب‌های تصادفی یک اجرا را ثابت می‌کند؛ بذری دیگر نتیجهٔ دیگری می‌دهد
نوبت شما

review را پر کنید. آن را روی {'a': [1.689, 1.675, 1.689], 'b': [1.715, 1.721, 1.707], 'test_overlap': 0.0} امتحان کنید (عرض‌های ثبت‌شدهٔ 1024 و 512 در 1.5 میلیون توکن).

هوش مصنوعی خاموش: در این یکی مربی، راهنمایی یا راه‌حل کاملی نیست. فقط فکر خودتان.

مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید

این تمرین به‌زودی باز می‌شود

درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و می‌توانید همین الان این درس را بخوانید.