سرفصل‌ها درس 219 از 246 · ماژول 21: نگاه به درون یک مدل
ماژول 21: نگاه به درون یک مدل

یک کاوشگر به یک کنترل نیاز دارد

چرا مهم است یک کاوشگر (یک طبقه‌بند خطی کوچک که روی بردارهای درونی یک مدل آموزش دیده) رایج‌ترین ابزار در تفسیرپذیری است و بیش از همه بد خوانده می‌شود. درستی بالا می‌تواند یعنی مدل آن چیز را محاسبه کرده، یا کاوشگر کرده است.

در ماژول 18 با کاوشگرهای خطی آشنا شدید. اینجا یکی را روی بردارهای GPT در دو جا آموزش دهید: 'embed' (تعبیهٔ نویسه به‌علاوهٔ جایگاهش، پیش از هر لایه‌ای) و 'resid1' (پس از بلوک اول). سه پرسش، هر کدام یک برچسب 0/1 برای هر نویسه:

  • 'vowel': آیا این نویسه یک مصوت است؟
  • 'control': آیا یکی از b، c، g، n، r، s، t است؟ گروه‌بندی‌ای بی‌معنا، که برگزیده شده تا به اندازهٔ مصوت‌ها رایج باشد (28.7% نویسه‌ها، در برابر 28.8%).
  • 'third letter': آیا سومین حرف واژه‌اش، یا پس از آن، است؟

اول پیش‌بینی کنید: اگر کاوشگر مصوت نزدیک 100% امتیاز بگیرد، آیا نشان می‌دهد مدل یاد گرفته مصوت چیست؟

واژه‌ها و نمادهای این درس
تفسیرپذیری
پی بردن به اینکه یک شبکهٔ آموزش‌دیده درونش چه محاسبه می‌کند، و بررسی آن
کاوشگر
یک طبقه‌بند خطی کوچک که آموزش دیده تا چیزی را از بردارهای درونی یک مدل بخواند
نوبت شما

my_guess را برابر "yes" یا "no" قرار دهید. scores[kind][site] را با probe(site, kind) برای سه نوع و دو جا پر کنید. سپس computed را برابر تنها نوعی قرار دهید که کاوشگرش چیزی را نشان می‌دهد که لایه حساب کرده است (پس از بلوک بسیار آسان‌تر از فقط از روی تعبیه است).

مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید

این تمرین به‌زودی باز می‌شود

درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و می‌توانید همین الان این درس را بخوانید.