لایههایی که وزنهای خودشان را نگه میدارند
چرا مهم است شبکههای واقعی لایههای بسیاری دارند. هر لایه باید مالک وزنهای خودش باشد و بتواند آنها را فهرست کند، تا کد آموزش هرگز لازم نباشد بداند درونش چیست.
یک لایهٔ Linear مقدارهای W و b را بهصورت Tensor نگه میدارد و x @ W + b را محاسبه میکند. یک MLP فهرستی از لایههای Linear با ReLU میانشان را نگه میدارد. هر دو parameters() را ارائه میکنند، فهرستی از Tensorهای وزنشان.
چرا گرادیانها را صفر کنیم
گذر رو به عقب شما به هر grad اضافه میکند. این درون یک گذر درست است، اما میان گامها گرادیان قدیمی هنوز آنجا نشسته است. فراموش کنید پاکش کنید و هر گام از جمع همهٔ گرادیانهای گذشته استفاده میکند: آموزش منحرف میشود و سپس منفجر میشود. پس هر گام این است: صفر کردن gradها، رو به جلو، رو به عقب، گام.
پارامتر: وزنی که آموزش تغییرش میدهد. zero_grad: بازنشانی grad هر پارامتر به صفر پیش از گذر رو به عقب بعدی.
وزنها را با پراکندگی sqrt(2 / inputs) شروع کنید، که سیگنالها را در طول لایههای ReLU به اندازهای معقول نگه میدارد. ماژول 6 چراییاش را توضیح میدهد.
واژهها و نمادهای این درس
- Tensor
- اینجا: یک آرایه بهعلاوهٔ گرادیانش بهعلاوهٔ Tensorهایی که از آنها آمده
- unbroadcast
- جمع زدن یک گرادیان تا شکلی که از آن کشیده شده بود
- zero_grad
- بازنشانی گرادیانها پیش از گام بعد، چون گذر رو به عقب به آنها اضافه میکند
Linear، MLP، zero_grad(params) و sgd_step(params, lr) را همانطور که توصیف شد بنویسید. MLP([64, 32, 10], rng) دو لایهٔ Linear با یک ReLU میانشان و هیچ ReLU پس از آخری میسازد.
مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید
این تمرین بهزودی باز میشود
درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و میتوانید همین الان این درس را بخوانید.
این مرورگر کوکیهای learn.floati.life را مسدود میکند، پس درسهایی که اینجا تمام کردید نمیتوانند به ترتیب باز شوند. کوکیها را برای این سایت مجاز کنید و صفحه را دوباره بارگذاری کنید.