المنهج الدراسي الدرس 235 من 246 · الوحدة 22: الحكم على الادعاءات
الوحدة 22: الحكم على الادعاءات

بوابة: مراجعة مطالبة (AI off)

لماذا هذا مهم قراءة النتائج بنقدية هي مهارة ستستخدمها في كل ورقة بحثية، وبطاقة نموذج، وجدول قياس. القواعد بسيطة؛ تطبيقها في كل مرة، دون أن يتم إخبارك أي واحدة منها مهمة، هو المهارة.

قواعد

Gate: إيقاف معلم الذكاء الاصطناعي. اكتب review(claim). يدعي ادعاء أن "model A يتفوق على model B" ويأتي مع خسارة كل seed لكل model ونسبة مجموعة الاختبار الموجودة في بيانات التدريب. بالترتيب:

  1. إذا كانت أكثر من 10% من مجموعة الاختبار موجودة في بيانات التدريب، فقم بإرجاع "leaked": لا يمكن الوثوق بأي نتيجة عليها.
  2. إذا كان أي من النموذجين يحتوي على أقل من 2 seeds، فقم بإرجاع "not shown": الـ spread غير معروف.
  3. لت diff = mean(B) - mean(A) (موجب عندما يكون A أفضل) و se = sqrt(var(A) / nA + var(B) / nB)، وهي تباينات العينة (ddof=1). أرجع "shown" إذا كان diff > 2 se، و "contradicted" إذا كان diff < -2 se، وإلا أرجع "not shown".

يقوم الاختبار بتشغيل function الخاصة بك على ستة مطالبات جديدة، تختلف في كل اختبار، بما في ذلك الحالات الحدية: seed واحد، تداخل بنسبة 10% بالضبط، وseeds تتطابق تماما.

الكلمات والرموز في هذا الدرس
تلوث (تسريب)
عناصر الاختبار التي كانت موجودة أيضاً في بيانات التدريب
seed
الرقم الذي يحدد الخيارات العشوائية للجولة؛ بذور أخرى تعطي نتائج أخرى
دورك

املأ review. جربه على {'a': [1.689, 1.675, 1.689], 'b': [1.715, 1.721, 1.707], 'test_overlap': 0.0} (الأطوال المسجلة 1024 و 512 عند 1.5 مليون token).

إيقاف تشغيل الذكاء الاصطناعي: لا يوجد مدرس أو تلميحات أو حلول محلولة لهذه المسألة. اعتمد على تفكيرك الخاص فقط.

هل لاحظت مشكلة في هذا الدرس؟ أبلغ عنها · اسأل عن هذا الدرس

سيفتح هذا التمرين قريبا

أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.