مجموعة اختبار سبق للنموذج رؤيتها
لماذا هذا مهم تتدرب النماذج الكبيرة على معظم الإنترنت العام، ومجموعات الاختبار العامة موجودة على الإنترنت. عندما تتسرب عناصر الاختبار إلى التدريب، ترتفع الدرجات لسبب لا علاقة له بالمهارة، وقد لا يعرف البحث الذي يبلغ عنها ذلك أبدا.
A مجموعة اختبار عامة مكونة من 120 مقطعاً لدورة GPT. يقول مؤلفوها أنها كتبت بشكل منفصل. تم نسخ بعضها في الواقع من نص درس الدورة، وهو ما تدرب عليه GPT.
فحصA القياسي: قم بتقسيم كل مقطع إلى قطع مكونة من 13 حرفا وابحث عنها في نص التدريب. المقطع المكتوب بشكل منفصل يشترك في قطع طويلة قليلة بالصدفة؛ والمقطع المنسوخ يشترك في جميعها. يعطي judge.overlap(p) نسبة قطع المقطع الموجودة في نص التدريب، ويعطي judge.losses(model, passages) خسارة النموذج على كل مقطع.
تنبؤ أول: هل سيؤدي حذف المقاطع المسربة إلى تحسين الخسارة المبلغ عنها أو تفاقمها؟
الكلمات والرموز في هذا الدرس
- تلوث (تسرب)
- عناصر الاختبار التي كانت موجودة أيضاً في بيانات التدريب
اضبط my_guess على "better" أو "worse". املأ reported (متوسط الخسارة على المقاطع الـ 120 كلها)، وleaked (قائمة True/False، تداخل فوق 0.5)، وclean (متوسط الخسارة على المقاطع غير المسرّبة) وleaked_loss.
سيفتح هذا التمرين قريبا
أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.
يقوم هذا المتصفح بحظر ملفات تعريف الارتباط لـ learn.floati.life، لذا لا يمكن فتح الدروس التي أنهيتها هنا بالترتيب. اسمح بملفات تعريف الارتباط لهذا الموقع وأعد التحميل.