ما الذي تغير في الداخل: waves
لماذا هذا مهم أظهر Nanda et al. (2023) أن الشبكات التي تستوعب الجمع التركيبي تنتهي بحسابه باستخدام الموجات: يصبح كل رقم نقطة على بضع دوائر، ويتحول جمع الأرقام إلى جمع الزوايا. إنها واحدة من الحالات القليلة التي تم فيها العثور على آلية كاملة ثم التحقق منها.
اقرأ كل عمود من التضمين كقائمة من 23 قيمة، واحدة لكل رقم من 0 إلى 22، وقسّمه إلى موجات بتردد من 1 إلى 11 (الموجة ذات التردد k تدور k مرة من 0 إلى 22؛ وهذا التقسيم هو تحويل فورييه). يعطي interp.frequency_shares(emb) نصيب كل تردد من التضمين (ومجموعها 1). إذا استخدم النموذج موجات قليلة، فإن ترددات قليلة تحمل معظمه؛ وإذا توزّع بالتساوي، فإن أعلى 3 ستحمل 3/11 = 0.27.
وحده غير كافٍ: أعد بناء الـ embedding من بعض الترددات فقط باستخدام interp.keep_frequencies(emb, keep) وقس دقة الاختبار. إذا كانت الثلاثة الأولى هي الآلية، فإن الاحتفاظ بها فقط يجب أن يحافظ على معظم الدقة، وإزالة هذه الثلاثة فقط يجب أن يدمرها.
الكلمات والرموز في هذا الدرس
- النمط، التأثير، الآلية
- ثلاثة أنواع من الأدلة: نظرت ورأيت؛ غيرتها وتغيرت النتيجة؛ شرحتها والتفسير تنبأ بحالات جديدة
- تحويل فورير
- تقسيم قائمة من القيم إلى موجات بترددات مختلفة
حمّل g = interp.grok_model() (التشغيل المسجّل مع weight decay بقيمة 3، بعد 40,000 خطوة). اضبط top3 على أكبر ثلاثة ترددات فيه، وtop3_share على نصيبها الإجمالي، وtest_acc لثلاثة تضمينات: 'all' و'only top 3' و'all but top 3'.
سيفتح هذا التمرين قريبا
أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.
يقوم هذا المتصفح بحظر ملفات تعريف الارتباط لـ learn.floati.life، لذا لا يمكن فتح الدروس التي أنهيتها هنا بالترتيب. اسمح بملفات تعريف الارتباط لهذا الموقع وأعد التحميل.