المنهج الدراسي الدرس 226 من 246 · الوحدة 21: النظر داخل النموذج
الوحدة 21: النظر داخل النموذج

الاستيعاب: احفظ أولا، ثم افهم لاحقا

لماذا هذا مهم رأى Power et al. (2022) شبكة وصلت إلى دقة تدريب مثالية، وظلت عند مستوى الصدفة في بيانات الاختبار لفترة طويلة، ثم تعممت فجأة. إنها أوضح حالة حيث أوضح النظر في الداخل شيئا لم يستطع منحنى loss توضيحه.

المهمة: a + b modulo 23 (الباقي بعد القسمة على 23؛ لذا 20 + 5 هو 2). هناك 23 x 23 = 529 مجموعا؛ يتدرب النموذج على نصف عشوائي ويتم اختباره على النصف الآخر. يحصل كل رقم على embedding بحجم 32؛ يمر الـ embeddingان عبر طبقة ReLU واحدة بحجم 128 ويخرجان إلى 23 scores. يتدرب على النصف الكامل في كل خطوة، باستخدام AdamW (Module 5).

درّبه مباشرة لمدة 1,500 خطوة، ثم اقرأ تشغيلات الدورة المسجّلة ذات 40,000 خطوة (نحو 11 ثانية لكل منها على حاسوب محمول، وهذا طويل جداً للدرس)، مع weight decay بقيمة 3 وبدونه.

توقع أولا: بعد 1,500 خطوة، ستكون دقة التدريب 100%. ما هي دقة الاختبار؟

الكلمات والرموز في هذا الدرس
grokking
تزداد دقة الاختبار لفترة طويلة بعد أن تصبح دقة التدريب مثالية
دورك

اضبط my_guess على "near 0" أو "near 50%" أو "near 100%". درّب لمدة 1,500 خطوة واملأ live بـ (دقة التدريب، دقة الاختبار). من runs = interp.recorded()['grok']، يحتوي 'curve' لكل تشغيل على صفوف (الخطوة، دقة التدريب، دقة الاختبار، نسبة أعلى 3): اضبط half_way على أول خطوة تصل فيها دقة الاختبار إلى 0.5 مع weight decay بقيمة 3، وfinal_test على آخر دقة اختبار لكل تشغيل.

هل لاحظت مشكلة في هذا الدرس؟ أبلغ عنها · اسأل عن هذا الدرس

سيفتح هذا التمرين قريبا

أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.