سرفصل‌ها درس 221 از 246 · ماژول 21: نگاه به درون یک مدل
ماژول 21: نگاه به درون یک مدل

کدام بخش‌ها مهم‌اند

چرا مهم است پیش از توضیح یک بخش، بفهمید آیا کاری می‌کند. برداشتن بخش‌ها (حذف) ارزان‌ترین اثری است که می‌توانید بسنجید و جایی را که نگاه می‌کنید تغییر می‌دهد.

هر بلوک GPT یک بخش توجه (که 'attn_out0'، 'attn_out1' را می‌نویسد) و یک MLP (که 'mlp_out0'، 'mlp_out1' را می‌نویسد) دارد. هر بار یکی را بردارید (خروجی‌اش را صفر کنید) و افزایش زیان کنار گذاشته‌شده را بسنجید. سپس هر یک از چهار سر بلوک 1 را هر بار یکی با interp.head_effects(model, X, Y, 1) بردارید.

یک خطر: اگر دو سر همان کار را انجام دهند، برداشتن هر کدام به‌تنهایی تقریباً هیچ چیز نشان نمی‌دهد. پس چهار افزایش تک‌سر، جمع‌شده، را هم با برداشتن کل توجه بلوک 1 با هم مقایسه کنید. اگر برداشتنشان با هم بسیار بیشتر از جمع آسیب بزند، پشتیبان همدیگرند.

واژه‌ها و نمادهای این درس
الگو، اثر، سازوکار
سه نوع شاهد: نگاه کردید و دیدید؛ تغییرش دادید و خروجی تغییر کرد؛ توضیحش دادید و توضیح موردهای تازه را پیش‌بینی کرد
حذف (ablation)
برداشتن یک بخش (صفر کردن خروجی‌اش) و سنجیدن اینکه چه چیزی تغییر می‌کند
نوبت شما

rise را برای چهار بخش، heads1 را با چهار افزایش تک‌سر پر کنید، سپس backup را اگر برداشتن کل توجه بلوک 1 بیش از دو برابر جمع سرهایش به‌تنهایی هزینه داشته باشد True قرار دهید، و biggest را برابر بخشی که برداشتنش بیشترین هزینه را دارد.

مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید

این تمرین به‌زودی باز می‌شود

درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و می‌توانید همین الان این درس را بخوانید.