فك الخلط: أوتو إنكودر متفرق
لماذا هذا مهم إذا كانت الميزات مخزنة في حالة تراكب، فإن النظر إلى الوحدات لن يجدها. يحاول autoencoder متفرق (Bricken et al. 2023, Cunningham et al. 2023) عكس ذلك: إعادة بناء كل vector من اتجاهات أكثر بكثير مما لديه من أرقام، ولكن عدد قليل فقط في كل مرة.
خذ متجهات GPT ذات الـ 64 رقماً بعد الكتلة 1، لـ 19,200 حرف من نص الدرس. يقوم autoencoder متفرق بـ 256 ميزة بحساب f = relu(z We + be) وإعادة بناء z = f Wd. الخسارة هي خطأ إعادة البناء زائد l1 مضروبة في الحجم الإجمالي لـ f، مما يدفع معظم الميزات إلى الصفر تماماً.
interp.train_sae(A, features=256, l1=...) يدرب واحداً؛ sae.unexplained(A) هو حصة انتشار المتجهات التي تفشل عملية إعادة البناء في الوصول إليها (0 هو مثالي) و sae.features(A) تعطي f.
تنبؤ أول: مع دفعة قوية (l1 = 0.3)، هل سيظل rebuild يفسر معظم الspread (غير مفسر أقل من 0.2)؟
الكلمات والرموز في هذا الدرس
- superposition
- تخزين ميزات أكثر مما يوجد من أرقام، كاتجاهات نادرا ما تجتمع معاً
- sparse autoencoder
- طبقة واسعة مدربة لإعادة بناء المتجهات من عدد قليل من الميزات النشطة في كل مرة
اجعل my_guess "yes" أو "no". درب عند l1 0.03 و 0.3 (600 خطوة من 128 متجه لكل منها). املأ unexplained[l1] على المتجهات المحجوزة A_new، و active[l1]: متوسط عدد الميزات فوق الصفر لكل حرف محجوز.
سيفتح هذا التمرين قريبا
أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.
يقوم هذا المتصفح بحظر ملفات تعريف الارتباط لـ learn.floati.life، لذا لا يمكن فتح الدروس التي أنهيتها هنا بالترتيب. اسمح بملفات تعريف الارتباط لهذا الموقع وأعد التحميل.