سرفصل‌ها درس 32 از 246 · ماژول 2: ریاضی و احتمال، فقط به اندازهٔ نیاز
ماژول 2: ریاضی و احتمال، فقط به اندازهٔ نیاز

پراکندگی چگونه جمع می‌شود، و یک ماتریس چه چیزی را می‌کشد

چرا مهم است دو واقعیت تعیین می‌کنند که آیا یک شبکهٔ عمیق اصلاً آموزش می‌بیند: اینکه پراکندگی یک جمع با تعداد جمله‌ها چگونه رشد می‌کند (ماژول 6 وزن‌های آغازین را با آن تنظیم می‌کند)، و اینکه یک ماتریس هر بار که اعمال می‌شود یک بردار را چقدر می‌کشد (RNNهای ماژول 11 یک ماتریس را بارها و بارها اعمال می‌کنند).

پراکندگی یک جمع

n عدد مستقل را جمع بزنید، هر کدام با واریانس v. واریانس‌ها جمع می‌شوند: جمع واریانس n v دارد، پس پراکندگی‌اش (انحراف معیار) sqrt(n v) است. اعداد کوچک: 100 ورودی هر کدام با پراکندگی 1 جمعی با پراکندگی 10 می‌دهند، نه 100 و نه 1. یک نورون n ورودی ضرب در وزن‌ها را جمع می‌زند، پس برای نگه داشتن پراکندگی خروجی‌اش نزدیک 1، هر وزن به پراکندگی حدود 1 / sqrt(n) نیاز دارد. این ایدهٔ پشت وزن‌های آغازین ماژول 6 است.

یک ماتریس چه چیزی را می‌کشد

بعضی بردارها وقتی یک ماتریس A در آن‌ها ضرب می‌شود فقط بلندتر یا کوتاه‌تر می‌شوند؛ جهتشان می‌ماند. چنین برداری یک بردار ویژه است و ضریب کشش مقدار ویژهٔ آن است. یک بردار را بارها و بارها در A ضرب کنید و جهتی با بزرگ‌ترین مقدار ویژه (از نظر اندازه) برنده می‌شود: پس از t گام طول مثل آن مقدار ویژه به توان t رشد یا کاهش می‌یابد. پس بزرگ‌ترین اندازهٔ بالای 1 منفجر می‌شود و زیر 1 محو می‌شود.

اعداد کوچک: A = [[0.5, 0], [0, 1.2]]. مقدارهای ویژه‌اش 0.5 و 1.2 هستند. پس از 10 گام جهت اول به 0.510، حدود 0.001، کوچک شده و دومی به 1.210، حدود 6.2، رشد کرده است.

مقدار ویژه: اینکه یک ماتریس یک جهت ویژه را چقدر می‌کشد. شعاع طیفی: بزرگ‌ترین مقدار ویژه از نظر اندازه، که تعیین می‌کند ضرب مکرر رشد می‌کند یا محو می‌شود.

خلاصه واریانس‌ها جمع می‌شوند، پس پراکندگی‌ها مثل sqrt(n) رشد می‌کنند. ضرب مکرر مثل بزرگ‌ترین مقدار ویژه به توان t رشد می‌کند.

واژه‌ها و نمادهای این درس
بردار
فهرستی از اعداد، یکی برای هر ویژگی
نوبت شما

سه گام:

  1. sum_spread(n, sd, trials, seed) را بنویسید: با rng = np.random.default_rng(seed)، تعداد trials جمع از n عدد نرمال با پراکندگی sd بکشید و پراکندگی (np.std) آن جمع‌ها را برگردانید.
  2. predicted را برابر پراکندگی‌ای قرار دهید که قاعده برای n = 100، sd = 0.5 می‌دهد (sqrt(n) x sd).
  3. growth_rate(A, steps=200) را بنویسید: از برداری از یک‌ها شروع کنید؛ steps بار در A ضرب کنید و نتیجه را به طول 1 مقیاس کنید؛ طولی را که بردار درست پیش از آخرین مقیاس‌گذاری داشت برگردانید. مثال حل‌شده: برای A = [[0.5, 0], [0, 1.2]] پاسخ 1.2 است.

چرا گام 3 کار می‌کند: ضرب مکرر اجازه می‌دهد بزرگ‌ترین کشش برنده شود، پس آخرین طول یک‌گامی بزرگ‌ترین مقدار ویژه از نظر اندازه است، که بدون هیچ تابع مقدار ویژه‌ای پیدا شده. (بررسی از ماتریس‌های متقارن استفاده می‌کند، که این همیشه در آن‌ها برقرار است. برای بعضی ماتریس‌های دیگر دو بزرگ‌ترین یک جفت مختلط‌اند و طول از گامی به گام دیگر نوسان دارد؛ به آن حالت نیاز نخواهید داشت.)

مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید

این تمرین به‌زودی باز می‌شود

درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و می‌توانید همین الان این درس را بخوانید.