سرفصل‌ها درس 222 از 246 · ماژول 21: نگاه به درون یک مدل
ماژول 21: نگاه به درون یک مدل

جست‌وجوی یک سر القایی

چرا مهم است سر القایی (Olsson و همکاران 2022) شناخته‌شده‌ترین داستان در تفسیرپذیری است: یک سر کپی پیشین توکن فعلی را پیدا می‌کند و به توکن پس از آن توجه می‌کند، تا مدل بتواند یک تکرار را ادامه دهد. در مدل‌های بزرگ واقعی است. اشتباه این است که فرض کنید یک مدل کوچک چون کپی می‌کند به همان شکل کپی می‌کند.

دوره یک GPT دوبلوکی را فقط برای کپی کردن آموزش داد: هر ردیف رشته‌ای تصادفی از 4 تا 16 حرف است که تکرار شده تا 32 جایگاه را پر کند. رشتهٔ اول قابل پیش‌بینی نیست (زیان حدود ln 26 = 3.26)؛ پس از آن، هر حرفی قابل کپی است. مدل کپی کردن را یاد گرفت: زیانش روی تکرارها حدود 0.13 تا 0.15 است (به نمونه بستگی دارد).

پیش‌بینی کتاب درسی: یک سری بیشتر توجهش را روی حرف پس از کپی پیشین حرف فعلی می‌گذارد. بسنجیدش. برای هر سر، سهم توجه، میانگین‌گیری‌شده روی جایگاه‌های تکرار، که روی جایگاه‌های j فرود می‌آید که حرف پیش از j برابر حرف فعلی است. با توجه یکنواخت مقایسه کنید، که به‌طور برابر روی همهٔ جایگاه‌های پیشین پخش می‌شود. سپس هر سر را بردارید و زیان تکرار را بسنجید.

اول پیش‌بینی کنید: آیا یک سر بیش از نیمی از توجهش را آنجا می‌گذارد؟

این حوزه اکنون کجاست سرهای القایی واقعی‌اند: Olsson و همکاران (2022) شکل گرفتنشان را، در یک تغییر فاز ناگهانی، در مدل‌هایی که روی متن معمولی آموزش دیده بودند، از جمله مدل‌های دولایه‌ای فقط با توجه، یافتند. چرا اینجا نه؟ این مدل MLP و نرمال‌سازی لایه دارد، کوتاه روی یک کار کپی ساختگی با چند راه‌حل ممکن آموزش دیده، و راه دیگری پیدا کرد. این نکتهٔ درس است و همچنین محدودیتش: اسباب‌بازی‌ای که یک اثر منتشرشده را نشان نمی‌دهد شاهدی علیه آن نیست. نتایج مدل‌های کوچک این دوره سنجش‌های همان مدل‌هاست؛ در مقیاس بزرگ، بعضی برقرار می‌مانند و بعضی نه.

واژه‌ها و نمادهای این درس
تفسیرپذیری
پی بردن به اینکه یک شبکهٔ آموزش‌دیده درونش چه محاسبه می‌کند، و بررسی آن
الگو، اثر، سازوکار
سه نوع شاهد: نگاه کردید و دیدید؛ تغییرش دادید و خروجی تغییر کرد؛ توضیحش دادید و توضیح موردهای تازه را پیش‌بینی کرد
سر القایی
سری که یک کپی پیشین از توکن فعلی را پیدا می‌کند و به توکن پس از آن توجه می‌کند
نوبت شما

my_guess را برابر "yes" یا "no" قرار دهید. induction_share(A, X, Ls) را بنویسید: برای وزن‌های توجه A (B, t, t) یک سر، میانگین روی ردیف‌های b و جایگاه‌های تکرار i (از Ls[b] تا t - 1) از توجه روی جایگاه‌های j ≤ i با X[b, j - 1] == X[b, i] (j ≥ 1). share[(layer, head)] را برای 8 سر و removed[(layer, head)] را با زیان تکرار وقتی آن سر صفر شده پر کنید. needed را برابر سری قرار دهید که برداشتنش بیشترین آسیب را می‌زند.

مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید

این تمرین به‌زودی باز می‌شود

درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و می‌توانید همین الان این درس را بخوانید.