سرفصل‌ها درس 227 از 246 · ماژول 21: نگاه به درون یک مدل
ماژول 21: نگاه به درون یک مدل

آنچه درون تغییر کرد: موج‌ها

چرا مهم است Nanda و همکاران (2023) نشان دادند شبکه‌هایی که جمع پیمانه‌ای را grok می‌کنند در پایان آن را با موج‌ها محاسبه می‌کنند: هر عدد نقطه‌ای روی چند دایره می‌شود و جمع زدن اعداد به جمع زدن زاویه‌ها تبدیل می‌شود. یکی از معدود مواردی است که یک سازوکار کامل پیدا و سپس بررسی شد.

هر ستون تعبیه را به‌صورت فهرستی از 23 مقدار، یکی برای هر عدد 0 تا 22، بخوانید و آن را به موج‌هایی با بسامد 1 تا 11 تقسیم کنید (موجی با بسامد k از 0 تا 22، k بار دور می‌زند؛ این تقسیم تبدیل فوریه است). interp.frequency_shares(emb) سهم هر بسامد از تعبیه را می‌دهد (جمعشان 1 است). اگر مدل از چند موج استفاده کند، چند بسامد بیشترش را نگه می‌دارند؛ با پخش یکنواخت، 3 برتر 3/11 = 0.27 را نگه می‌داشتند.

یک الگو به‌تنهایی کافی نیست: تعبیه را فقط از برخی بسامدها با interp.keep_frequencies(emb, keep) دوباره بسازید و درستی آزمون را بسنجید. اگر 3 برتر سازوکارند، نگه داشتن فقط آن‌ها باید بیشتر درستی را نگه دارد، و برداشتن فقط آن‌ها باید نابودش کند.

واژه‌ها و نمادهای این درس
الگو، اثر، سازوکار
سه نوع شاهد: نگاه کردید و دیدید؛ تغییرش دادید و خروجی تغییر کرد؛ توضیحش دادید و توضیح موردهای تازه را پیش‌بینی کرد
تبدیل فوریه
تقسیم فهرستی از مقدارها به موج‌هایی با بسامدهای متفاوت
نوبت شما

g = interp.grok_model() (اجرای ثبت‌شده با کاهش وزن 3، پس از 40,000 گام) را بارگذاری کنید. top3 را برابر سه بسامد بزرگ‌ترش، top3_share را برابر سهم کل آن‌ها و test_acc را برای سه تعبیه تنظیم کنید: 'all'، 'only top 3' و 'all but top 3'.

مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید

این تمرین به‌زودی باز می‌شود

درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و می‌توانید همین الان این درس را بخوانید.