سرفصل‌ها درس 223 از 246 · ماژول 21: نگاه به درون یک مدل
ماژول 21: نگاه به درون یک مدل

ویژگی‌های بیشتر از جا: برهم‌نهی

چرا مهم است اگر هر واحد یک معنا داشت، خواندن یک شبکه آسان بود. معمولاً ندارند، و مدل اسباب‌بازی Elhage و همکاران (2022) نشان می‌دهد چرا: یک شبکه می‌تواند ویژگی‌های بیشتری از تعداد اعدادش ذخیره کند، به شرطی که ویژگی‌ها به‌ندرت با هم روشن باشند.

اسباب‌بازی: 5 ویژگی، هر کدام بیشتر مواقع 0 و در غیر این صورت عددی میان 0 و 1. یک ماتریس W (2 در 5) آن‌ها را در فقط 2 عدد می‌فشارد، h = W x، و مدل آن‌ها را به‌صورت relu(WT h + b) دوباره می‌خواند. ویژگی i در زیان 0.9i برابر اهمیت دارد (ویژگی 0 بیش از همه). ستون i از W جهتی است که ویژگی i در آن ذخیره شده؛ ستونی نزدیک صفر یعنی ویژگی کنار گذاشته شده.

interp.superposition(sparsity=s) آن را آموزش می‌دهد (s = احتمال اینکه هر ویژگی 0 باشد). interp.stored(W) ویژگی‌هایی را که نگه داشت فهرست می‌کند و interp.angles(W) زاویه‌های میانشان را.

اول پیش‌بینی کنید: وقتی ویژگی‌ها به‌ندرت روشن‌اند (تُنُکی 0.97)، 2 عدد چند تا از 5 را می‌توانند نگه دارند؟

واژه‌ها و نمادهای این درس
برهم‌نهی
ذخیرهٔ ویژگی‌های بیشتر از تعداد اعداد، به‌صورت جهت‌هایی که به‌ندرت با هم روشن‌اند
نوبت شما

my_guess را برابر عددی از 2 تا 5 قرار دهید. با تُنُکی 0، 0.7 و 0.97 (بذر 0) آموزش دهید و kept[s] را با تعداد ویژگی‌های ذخیره‌شده و smallest_angle[s] را با کوچک‌ترین زاویه میان دو ویژگی ذخیره‌شده پر کنید.

مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید

این تمرین به‌زودی باز می‌شود

درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و می‌توانید همین الان این درس را بخوانید.