اینکه یک بخش را چگونه بردارید پاسخ را تغییر میدهد
چرا مهم است «برداشتن این بخش زیان را X بالا میبرد» شبیه واقعیتی دربارهٔ آن بخش به نظر میرسد. بخشی از آن واقعیتی دربارهٔ نحوهٔ برداشتنش است.
در ماژول 21 بخشهایی از GPT را با صفر کردن خروجیشان برداشتید. اما بقیهٔ شبکه هرگز در آموزش آنجا یک صفر ندید: صفر ممکن است ورودیای باشد که هرگز با آن روبهرو نشده، پس آسیب شوک را هم بهعلاوهٔ از دست رفتن اطلاعات میسنجد. یک برداشتن ملایمتر خروجی را با میانگینش روی ورودیهای بسیار جایگزین میکند (حذف میانگینی): بخش دیگر هیچ چیزی دربارهٔ این ورودی حمل نمیکند، اما لایهٔ بعد همچنان مقداری با اندازهٔ معمول میگیرد.
هر دو را برای چهار بخش بسنجید: 'attn_out0'، 'mlp_out0'، 'attn_out1'، 'mlp_out1'. میانگین از cache[site].mean((0, 1)) میآید.
اول پیشبینی کنید: برای MLP بلوک 0، آیا حذف میانگینی کمتر از صفر کردن هزینه دارد، یا تقریباً همان؟
واژهها و نمادهای این درس
- حذف میانگینی
- جایگزین کردن خروجی یک بخش با میانگینش به جای صفر
my_guess را برابر "less" یا "same" قرار دهید. zero[site] و mean[site] را با افزایش زیان پر کنید. most_overstated را برابر بخشی قرار دهید که صفر کردن اثرش را بیش از همه بزرگنمایی میکند.
مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید
این تمرین بهزودی باز میشود
درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و میتوانید همین الان این درس را بخوانید.
این مرورگر کوکیهای learn.floati.life را مسدود میکند، پس درسهایی که اینجا تمام کردید نمیتوانند به ترتیب باز شوند. کوکیها را برای این سایت مجاز کنید و صفحه را دوباره بارگذاری کنید.