گذر رو به عقب برای جمع و ضرب
چرا مهم است با این دو قاعده و ترتیب، موتور شما از همین حالا میتواند از هر فرمولی که از جمعها و ضربها ساخته شده مشتق بگیرد.
هر عملیات تابع کوچکی، _backward، به Tensorی که میسازد میچسباند. وقتی فراخوانی شود، out.grad را میخواند و سهمش را به grad هر والد اضافه میکند:
- برای
out = a + b: a مقدارout.gradو b مقدارout.gradرا میگیرد. - برای
out = a * b: a مقدارout.grad * b.dataو b مقدارout.grad * a.dataرا میگیرد.
همیشه به grad والد اضافه کنید (به سبک +=)، هرگز بازنویسی نکنید: گرهای که دو بار به کار رفته باید هر دو سهم را جمع کند. سپس backward() grad گرهٔ نهایی را 1 قرار میدهد و هر _backward را به ترتیب توپولوژیک معکوس فراخوانی میکند.
(کمکی آمادهٔ unbroadcast، که در بالا وارد شده، شکلهایی را که با پخش کشیده شدهاند مدیریت میکند. نسخهٔ خودتان را دو درس بعد مینویسید؛ فعلاً هر سهم را در آن بپیچید.)
واژهها و نمادهای این درس
- Tensor
- اینجا: یک آرایه بهعلاوهٔ گرادیانش بهعلاوهٔ Tensorهایی که از آنها آمده
- ترتیب توپولوژیک
- هر گره پس از گرههایی که به آنها وابسته است فهرست میشود
- .grad
- گرادیان زیان نهایی نسبت به این Tensor
- unbroadcast
- جمع زدن یک گرادیان تا شکلی که از آن کشیده شده بود
دو تابع _backward و متد backward را پر کنید. آزمون پنهان گرادیان فرمولهایی را که + و * را با هم دارند، از جمله گرهای که دو بار به کار رفته، بررسی میکند.
مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید
این تمرین بهزودی باز میشود
درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و میتوانید همین الان این درس را بخوانید.
این مرورگر کوکیهای learn.floati.life را مسدود میکند، پس درسهایی که اینجا تمام کردید نمیتوانند به ترتیب باز شوند. کوکیها را برای این سایت مجاز کنید و صفحه را دوباره بارگذاری کنید.