آنچه درون تغییر کرد: موجها
چرا مهم است Nanda و همکاران (2023) نشان دادند شبکههایی که جمع پیمانهای را grok میکنند در پایان آن را با موجها محاسبه میکنند: هر عدد نقطهای روی چند دایره میشود و جمع زدن اعداد به جمع زدن زاویهها تبدیل میشود. یکی از معدود مواردی است که یک سازوکار کامل پیدا و سپس بررسی شد.
هر ستون تعبیه را بهصورت فهرستی از 23 مقدار، یکی برای هر عدد 0 تا 22، بخوانید و آن را به موجهایی با بسامد 1 تا 11 تقسیم کنید (موجی با بسامد k از 0 تا 22، k بار دور میزند؛ این تقسیم تبدیل فوریه است). interp.frequency_shares(emb) سهم هر بسامد از تعبیه را میدهد (جمعشان 1 است). اگر مدل از چند موج استفاده کند، چند بسامد بیشترش را نگه میدارند؛ با پخش یکنواخت، 3 برتر 3/11 = 0.27 را نگه میداشتند.
یک الگو بهتنهایی کافی نیست: تعبیه را فقط از برخی بسامدها با interp.keep_frequencies(emb, keep) دوباره بسازید و درستی آزمون را بسنجید. اگر 3 برتر سازوکارند، نگه داشتن فقط آنها باید بیشتر درستی را نگه دارد، و برداشتن فقط آنها باید نابودش کند.
واژهها و نمادهای این درس
- الگو، اثر، سازوکار
- سه نوع شاهد: نگاه کردید و دیدید؛ تغییرش دادید و خروجی تغییر کرد؛ توضیحش دادید و توضیح موردهای تازه را پیشبینی کرد
- تبدیل فوریه
- تقسیم فهرستی از مقدارها به موجهایی با بسامدهای متفاوت
g = interp.grok_model() (اجرای ثبتشده با کاهش وزن 3، پس از 40,000 گام) را بارگذاری کنید. top3 را برابر سه بسامد بزرگترش، top3_share را برابر سهم کل آنها و test_acc را برای سه تعبیه تنظیم کنید: 'all'، 'only top 3' و 'all but top 3'.
مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید
این تمرین بهزودی باز میشود
درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و میتوانید همین الان این درس را بخوانید.
این مرورگر کوکیهای learn.floati.life را مسدود میکند، پس درسهایی که اینجا تمام کردید نمیتوانند به ترتیب باز شوند. کوکیها را برای این سایت مجاز کنید و صفحه را دوباره بارگذاری کنید.