سرفصل‌ها درس 56 از 246 · ماژول 4: موتور autograd خودتان
ماژول 4: موتور autograd خودتان

گذر رو به عقب برای ضرب ماتریسی

چرا مهم است ضرب ماتریسی اسب بارکش هر لایه است. قاعدهٔ رو به عقب آن دو خط است و می‌توانید آن را فقط از روی شکل‌ها به دست آورید.

اعداد کوچک

out = A @ B را با A به شکل (2, 3) و B به شکل (3, 4) در نظر بگیرید، پس out برابر (2, 4) است. گرادیان رسیده، G، شکل out یعنی (2, 4) را دارد. گرادیان A باید شکل A یعنی (2, 3) را داشته باشد. تنها راه ساختن (2, 3) از G (2, 4) و B (3, 4) عبارت G @ B.T است. به همین ترتیب گرادیان B (3, 4) باید A.T @ G باشد.

یک درایه را در ذهنتان بررسی کنید: out[0, 0] = A[0, 0] B[0, 0] + A[0, 1] B[1, 0] + A[0, 2] B[2, 0]. A[0, 1] را جابه‌جا کنید و out[0, 0] به اندازهٔ B[1, 0] ضرب در جابه‌جایی حرکت می‌کند. این دقیقاً درایهٔ (0, 1) از G @ B.T است وقتی G در (0, 0) برابر 1 و جای دیگر 0 باشد.

خلاصه dA = G @ B.T، dB = A.T @ G. اگر فراموش کردید، شکل‌ها را جور کنید.

واژه‌ها و نمادهای این درس
Tensor
اینجا: یک آرایه به‌علاوهٔ گرادیانش به‌علاوهٔ Tensorهایی که از آن‌ها آمده
.grad
گرادیان زیان نهایی نسبت به این Tensor
unbroadcast
جمع زدن یک گرادیان تا شکلی که از آن کشیده شده بود
نوبت شما

__matmul__ را با _backward آن بنویسید. آزمون پنهان گرادیان (A @ B) * C را برای شکل‌های تصادفی بررسی می‌کند.

مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید

این تمرین به‌زودی باز می‌شود

درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و می‌توانید همین الان این درس را بخوانید.