سرفصل‌ها درس 220 از 246 · ماژول 21: نگاه به درون یک مدل
ماژول 21: نگاه به درون یک مدل

یک مقدار را سر جایش بگذارید: وصلهٔ فعال‌سازی

چرا مهم است وصلهٔ فعال‌سازی (Meng و همکاران 2022، Wang و همکاران 2022) «این بخش با پاسخ هم‌خط است» را با جابه‌جا کردن یک مقدار از یک اجرا به اجرای دیگر به «این بخش پاسخ را حمل می‌کند» تبدیل می‌کند.

دو ورودی که در یک نویسه فرق دارند:

  • تمیز: «the gradient of the los»: GPT به نویسهٔ بعدی «s» احتمال 0.91 می‌دهد.
  • خراب‌شده: «the gradient of the bos»: 0.39.

ورودی خراب‌شده را اجرا کنید، اما در یک جا و یک جایگاه، بردار اجرای تمیز را جایگزین کنید. اگر احتمال «s» دوباره به 0.91 بپرد، آن بردار چیزی را حمل می‌کرد که «l» به مدل گفت. interp.patch(model, clean_ids, bad_ids, site, pos) جایگزینی را انجام می‌دهد و logitها را برمی‌گرداند؛ interp.next_prob(logits, answer, model) احتمال را می‌خواند.

آن را در 'resid0' (پیش از بلوک 0، پس فقط تعبیه‌ها)، 'resid1' (میان بلوک‌ها) و 'final'، برای پنج جایگاه آخر امتحان کنید.

اول پیش‌بینی کنید: در 'resid1'، آیا «l» هنوز در جایگاه خودش حمل می‌شود، یا جای دیگری؟

واژه‌ها و نمادهای این درس
وصلهٔ فعال‌سازی
اجرای یک ورودی با مقداری برگرفته از اجرای ورودی دیگر، برای دیدن اینکه آن مقدار چه چیزی را حمل می‌کند
نوبت شما

my_guess را برابر "own position" یا "somewhere else" قرار دهید. restored[site] را با فهرستی از پنج احتمال، یکی برای هر جایگاه از len(clean) - 5 تا انتها، پر کنید. سپس where[site] را برابر نویسهٔ clean در جایگاهی قرار دهید که آن را بازمی‌گرداند.

مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید

این تمرین به‌زودی باز می‌شود

درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و می‌توانید همین الان این درس را بخوانید.