سرفصل‌ها درس 61 از 246 · ماژول 4: موتور autograd خودتان
ماژول 4: موتور autograd خودتان

لایه‌هایی که وزن‌های خودشان را نگه می‌دارند

چرا مهم است شبکه‌های واقعی لایه‌های بسیاری دارند. هر لایه باید مالک وزن‌های خودش باشد و بتواند آن‌ها را فهرست کند، تا کد آموزش هرگز لازم نباشد بداند درونش چیست.

یک لایهٔ Linear مقدارهای W و b را به‌صورت Tensor نگه می‌دارد و x @ W + b را محاسبه می‌کند. یک MLP فهرستی از لایه‌های Linear با ReLU میانشان را نگه می‌دارد. هر دو parameters() را ارائه می‌کنند، فهرستی از Tensorهای وزنشان.

چرا گرادیان‌ها را صفر کنیم

گذر رو به عقب شما به هر grad اضافه می‌کند. این درون یک گذر درست است، اما میان گام‌ها گرادیان قدیمی هنوز آنجا نشسته است. فراموش کنید پاکش کنید و هر گام از جمع همهٔ گرادیان‌های گذشته استفاده می‌کند: آموزش منحرف می‌شود و سپس منفجر می‌شود. پس هر گام این است: صفر کردن gradها، رو به جلو، رو به عقب، گام.

پارامتر: وزنی که آموزش تغییرش می‌دهد. zero_grad: بازنشانی grad هر پارامتر به صفر پیش از گذر رو به عقب بعدی.

وزن‌ها را با پراکندگی sqrt(2 / inputs) شروع کنید، که سیگنال‌ها را در طول لایه‌های ReLU به اندازه‌ای معقول نگه می‌دارد. ماژول 6 چرایی‌اش را توضیح می‌دهد.

واژه‌ها و نمادهای این درس
Tensor
اینجا: یک آرایه به‌علاوهٔ گرادیانش به‌علاوهٔ Tensorهایی که از آن‌ها آمده
unbroadcast
جمع زدن یک گرادیان تا شکلی که از آن کشیده شده بود
zero_grad
بازنشانی گرادیان‌ها پیش از گام بعد، چون گذر رو به عقب به آن‌ها اضافه می‌کند
نوبت شما

Linear، MLP، zero_grad(params) و sgd_step(params, lr) را همان‌طور که توصیف شد بنویسید. MLP([64, 32, 10], rng) دو لایهٔ Linear با یک ReLU میانشان و هیچ ReLU پس از آخری می‌سازد.

مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید

این تمرین به‌زودی باز می‌شود

درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و می‌توانید همین الان این درس را بخوانید.