ویژگیهای بیشتر از جا: برهمنهی
چرا مهم است اگر هر واحد یک معنا داشت، خواندن یک شبکه آسان بود. معمولاً ندارند، و مدل اسباببازی Elhage و همکاران (2022) نشان میدهد چرا: یک شبکه میتواند ویژگیهای بیشتری از تعداد اعدادش ذخیره کند، به شرطی که ویژگیها بهندرت با هم روشن باشند.
اسباببازی: 5 ویژگی، هر کدام بیشتر مواقع 0 و در غیر این صورت عددی میان 0 و 1. یک ماتریس W (2 در 5) آنها را در فقط 2 عدد میفشارد، h = W x، و مدل آنها را بهصورت relu(WT h + b) دوباره میخواند. ویژگی i در زیان 0.9i برابر اهمیت دارد (ویژگی 0 بیش از همه). ستون i از W جهتی است که ویژگی i در آن ذخیره شده؛ ستونی نزدیک صفر یعنی ویژگی کنار گذاشته شده.
interp.superposition(sparsity=s) آن را آموزش میدهد (s = احتمال اینکه هر ویژگی 0 باشد). interp.stored(W) ویژگیهایی را که نگه داشت فهرست میکند و interp.angles(W) زاویههای میانشان را.
اول پیشبینی کنید: وقتی ویژگیها بهندرت روشناند (تُنُکی 0.97)، 2 عدد چند تا از 5 را میتوانند نگه دارند؟
واژهها و نمادهای این درس
- برهمنهی
- ذخیرهٔ ویژگیهای بیشتر از تعداد اعداد، بهصورت جهتهایی که بهندرت با هم روشناند
my_guess را برابر عددی از 2 تا 5 قرار دهید. با تُنُکی 0، 0.7 و 0.97 (بذر 0) آموزش دهید و kept[s] را با تعداد ویژگیهای ذخیرهشده و smallest_angle[s] را با کوچکترین زاویه میان دو ویژگی ذخیرهشده پر کنید.
مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید
این تمرین بهزودی باز میشود
درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و میتوانید همین الان این درس را بخوانید.
این مرورگر کوکیهای learn.floati.life را مسدود میکند، پس درسهایی که اینجا تمام کردید نمیتوانند به ترتیب باز شوند. کوکیها را برای این سایت مجاز کنید و صفحه را دوباره بارگذاری کنید.