گذر رو به عقب برای ضرب ماتریسی
چرا مهم است ضرب ماتریسی اسب بارکش هر لایه است. قاعدهٔ رو به عقب آن دو خط است و میتوانید آن را فقط از روی شکلها به دست آورید.
اعداد کوچک
out = A @ B را با A به شکل (2, 3) و B به شکل (3, 4) در نظر بگیرید، پس out برابر (2, 4) است. گرادیان رسیده، G، شکل out یعنی (2, 4) را دارد. گرادیان A باید شکل A یعنی (2, 3) را داشته باشد. تنها راه ساختن (2, 3) از G (2, 4) و B (3, 4) عبارت G @ B.T است. به همین ترتیب گرادیان B (3, 4) باید A.T @ G باشد.
یک درایه را در ذهنتان بررسی کنید: out[0, 0] = A[0, 0] B[0, 0] + A[0, 1] B[1, 0] + A[0, 2] B[2, 0]. A[0, 1] را جابهجا کنید و out[0, 0] به اندازهٔ B[1, 0] ضرب در جابهجایی حرکت میکند. این دقیقاً درایهٔ (0, 1) از G @ B.T است وقتی G در (0, 0) برابر 1 و جای دیگر 0 باشد.
خلاصه dA = G @ B.T، dB = A.T @ G. اگر فراموش کردید، شکلها را جور کنید.
واژهها و نمادهای این درس
- Tensor
- اینجا: یک آرایه بهعلاوهٔ گرادیانش بهعلاوهٔ Tensorهایی که از آنها آمده
- .grad
- گرادیان زیان نهایی نسبت به این Tensor
- unbroadcast
- جمع زدن یک گرادیان تا شکلی که از آن کشیده شده بود
__matmul__ را با _backward آن بنویسید. آزمون پنهان گرادیان (A @ B) * C را برای شکلهای تصادفی بررسی میکند.
مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید
این تمرین بهزودی باز میشود
درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و میتوانید همین الان این درس را بخوانید.
این مرورگر کوکیهای learn.floati.life را مسدود میکند، پس درسهایی که اینجا تمام کردید نمیتوانند به ترتیب باز شوند. کوکیها را برای این سایت مجاز کنید و صفحه را دوباره بارگذاری کنید.