سرفصل‌ها درس 224 از 246 · ماژول 21: نگاه به درون یک مدل
ماژول 21: نگاه به درون یک مدل

جدا کردن آمیزه: یک خودرمزگذار تُنُک

چرا مهم است اگر ویژگی‌ها در برهم‌نهی ذخیره شده باشند، نگاه به واحدها آن‌ها را پیدا نمی‌کند. یک خودرمزگذار تُنُک (Bricken و همکاران 2023، Cunningham و همکاران 2023) سعی می‌کند آن را برگرداند: هر بردار را از جهت‌هایی بسیار بیشتر از تعداد اعدادش، اما هر بار فقط چند تا، دوباره بسازد.

بردارهای 64 عددی GPT پس از بلوک 1 را برای 19,200 نویسه از متن درس بگیرید. یک خودرمزگذار تُنُک با 256 ویژگی f = relu(z We + be) را محاسبه می‌کند و z = f Wd را دوباره می‌سازد. زیان خطای بازسازی به‌علاوهٔ l1 ضرب در اندازهٔ کل f است، که بیشتر ویژگی‌ها را دقیقاً به صفر هل می‌دهد.

interp.train_sae(A, features=256, l1=...) یکی را آموزش می‌دهد؛ sae.unexplained(A) سهمی از پراکندگی بردارهاست که بازسازی از دست می‌دهد (0 بی‌نقص است) و sae.features(A) مقدار f را می‌دهد.

اول پیش‌بینی کنید: با یک هل قوی (l1 = 0.3)، آیا بازسازی همچنان بیشتر پراکندگی را توضیح می‌دهد (توضیح‌داده‌نشده زیر 0.2)؟

واژه‌ها و نمادهای این درس
برهم‌نهی
ذخیرهٔ ویژگی‌های بیشتر از تعداد اعداد، به‌صورت جهت‌هایی که به‌ندرت با هم روشن‌اند
خودرمزگذار تُنُک
لایه‌ای پهن که آموزش دیده تا بردارها را از چند ویژگی فعال در هر بار دوباره بسازد
نوبت شما

my_guess را برابر "yes" یا "no" قرار دهید. با l1 برابر 0.03 و 0.3 آموزش دهید (هر کدام 600 گام از 128 بردار). unexplained[l1] را روی بردارهای کنار گذاشته‌شدهٔ A_new و active[l1] را پر کنید: میانگین تعداد ویژگی‌های بالای صفر برای هر نویسهٔ کنار گذاشته‌شده.

مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید

این تمرین به‌زودی باز می‌شود

درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و می‌توانید همین الان این درس را بخوانید.