المنهج الدراسي الدرس 224 من 246 · الوحدة 21: النظر داخل النموذج
الوحدة 21: النظر داخل النموذج

فك الخلط: أوتو إنكودر متفرق

لماذا هذا مهم إذا كانت الميزات مخزنة في حالة تراكب، فإن النظر إلى الوحدات لن يجدها. يحاول autoencoder متفرق (Bricken et al. 2023, Cunningham et al. 2023) عكس ذلك: إعادة بناء كل vector من اتجاهات أكثر بكثير مما لديه من أرقام، ولكن عدد قليل فقط في كل مرة.

خذ متجهات GPT ذات الـ 64 رقماً بعد الكتلة 1، لـ 19,200 حرف من نص الدرس. يقوم autoencoder متفرق بـ 256 ميزة بحساب f = relu(z We + be) وإعادة بناء z = f Wd. الخسارة هي خطأ إعادة البناء زائد l1 مضروبة في الحجم الإجمالي لـ f، مما يدفع معظم الميزات إلى الصفر تماماً.

interp.train_sae(A, features=256, l1=...) يدرب واحداً؛ sae.unexplained(A) هو حصة انتشار المتجهات التي تفشل عملية إعادة البناء في الوصول إليها (0 هو مثالي) و sae.features(A) تعطي f.

تنبؤ أول: مع دفعة قوية (l1 = 0.3)، هل سيظل rebuild يفسر معظم الspread (غير مفسر أقل من 0.2)؟

الكلمات والرموز في هذا الدرس
superposition
تخزين ميزات أكثر مما يوجد من أرقام، كاتجاهات نادرا ما تجتمع معاً
sparse autoencoder
طبقة واسعة مدربة لإعادة بناء المتجهات من عدد قليل من الميزات النشطة في كل مرة
دورك

اجعل my_guess "yes" أو "no". درب عند l1 0.03 و 0.3 (600 خطوة من 128 متجه لكل منها). املأ unexplained[l1] على المتجهات المحجوزة A_new، و active[l1]: متوسط عدد الميزات فوق الصفر لكل حرف محجوز.

هل لاحظت مشكلة في هذا الدرس؟ أبلغ عنها · اسأل عن هذا الدرس

سيفتح هذا التمرين قريبا

أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.