المنهج الدراسي الدرس 227 من 246 · الوحدة 21: النظر داخل النموذج
الوحدة 21: النظر داخل النموذج

ما الذي تغير في الداخل: waves

لماذا هذا مهم أظهر Nanda et al. (2023) أن الشبكات التي تستوعب الجمع التركيبي تنتهي بحسابه باستخدام الموجات: يصبح كل رقم نقطة على بضع دوائر، ويتحول جمع الأرقام إلى جمع الزوايا. إنها واحدة من الحالات القليلة التي تم فيها العثور على آلية كاملة ثم التحقق منها.

اقرأ كل عمود من التضمين كقائمة من 23 قيمة، واحدة لكل رقم من 0 إلى 22، وقسّمه إلى موجات بتردد من 1 إلى 11 (الموجة ذات التردد k تدور k مرة من 0 إلى 22؛ وهذا التقسيم هو تحويل فورييه). يعطي interp.frequency_shares(emb) نصيب كل تردد من التضمين (ومجموعها 1). إذا استخدم النموذج موجات قليلة، فإن ترددات قليلة تحمل معظمه؛ وإذا توزّع بالتساوي، فإن أعلى 3 ستحمل 3/11 = 0.27.

نمط

وحده غير كافٍ: أعد بناء الـ embedding من بعض الترددات فقط باستخدام interp.keep_frequencies(emb, keep) وقس دقة الاختبار. إذا كانت الثلاثة الأولى هي الآلية، فإن الاحتفاظ بها فقط يجب أن يحافظ على معظم الدقة، وإزالة هذه الثلاثة فقط يجب أن يدمرها.

الكلمات والرموز في هذا الدرس
النمط، التأثير، الآلية
ثلاثة أنواع من الأدلة: نظرت ورأيت؛ غيرتها وتغيرت النتيجة؛ شرحتها والتفسير تنبأ بحالات جديدة
تحويل فورير
تقسيم قائمة من القيم إلى موجات بترددات مختلفة
دورك

حمّل g = interp.grok_model() (التشغيل المسجّل مع weight decay بقيمة 3، بعد 40,000 خطوة). اضبط top3 على أكبر ثلاثة ترددات فيه، وtop3_share على نصيبها الإجمالي، وtest_acc لثلاثة تضمينات: 'all' و'only top 3' و'all but top 3'.

هل لاحظت مشكلة في هذا الدرس؟ أبلغ عنها · اسأل عن هذا الدرس

سيفتح هذا التمرين قريبا

أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.