المنهج الدراسي الدرس 232 من 246 · الوحدة 22: الحكم على الادعاءات
الوحدة 22: الحكم على الادعاءات

بذرة واحدة هي حكاية

لماذا هذا مهم تدريب نفس النموذج مرتين ببذور عشوائية مختلفة يعطي نتائج مختلفة. الفرق بين نموذجين أصغر من ذلك الانتشار ليس نتيجة، ولا يمكن لتشغيل واحد أن يخبرك بمدى حجم الانتشار.

A ادعاء: "عند 8,000 tokens، عرض 1024 يتفوق على عرض 512"، مدعوم بتشغيل واحد لكل منهما (seed 0: 2.793 مقابل 2.799). سجلت الدورة 3 seeds لكل منهما.

قاعدة بسيطة لـ "A يهزم B" مع بضع بذور لكل منهما: احسب الفرق بين المتوسطات، والخطأ المعياري (مقدار تحرك ذلك الفرق إذا أعدت تشغيل البذور)، sqrt(var(A) / nA + var(B) / nB) مع تباين العينة (ddof=1). أظهر النتيجة عندما يكون الفرق أكثر من خطأين معياريين. judge.standard_error(a, b) يقوم بحسابها.

تنبؤ أول: مع ثلاث بذور، هل لا يزال العرض 1024 يتفوق على 512 عند 8,000 token؟

الكلمات والرموز في هذا الدرس
seed
الرقم الذي يحدد الخيارات العشوائية للجولة؛ بذور أخرى تعطي نتائج أخرى
خطأ قياسي
كم سيتحرك الفرق المقاس إذا تمت إعادة تشغيل seeds
دورك

اجعل my_guess "yes" أو "no". بالنسبة لـ 8,000 و 1,500,000 tokens، املأ diff[tokens] (متوسط loss لعرض 512 ناقص متوسط loss لعرض 1024: القيمة الموجبة تعني أن 1024 أفضل) و two_se[tokens]. اجعل verdict[tokens] "shown" أو "not shown".

هل لاحظت مشكلة في هذا الدرس؟ أبلغ عنها · اسأل عن هذا الدرس

سيفتح هذا التمرين قريبا

أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.