سرفصل‌ها درس 29 از 246 · ماژول 2: ریاضی و احتمال، فقط به اندازهٔ نیاز
ماژول 2: ریاضی و احتمال، فقط به اندازهٔ نیاز

گرادیان‌های ماتریس‌های کامل (قاعدهٔ شکل)

چرا مهم است لایه‌ها روی ماتریس‌های کامل کار می‌کنند، پس گرادیان‌هایشان هم ماتریس‌اند. یک قاعده و یک ترفند گذر رو به عقب تقریباً هر لایه‌ای را بدون حفظ کردن چیزی به دست می‌آورند.

قاعدهٔ شکل

زیان L یک عدد است. گرادیان L نسبت به هر آرایه‌ای دقیقاً شکل همان آرایه را دارد: یک شیب برای هر درایه. پس اگر W برابر (3, 4) باشد، dL/dW برابر (3, 4) است.

اعداد کوچک: Y = X @ W

فرض کنید X برابر (2, 3)، W برابر (3, 4) و Y = X @ W برابر (2, 4) است، و چند گام بعدی Y را به L تبدیل می‌کنند. گذر رو به عقب G = dL/dY را با شکل (2, 4) به شما می‌دهد. هر درایهٔ Y[i, j] جمعی روی k از X[i, k] W[k, j] است. W[k, j] را جابه‌جا کنید: هر Y[i, j] در ستون j را به اندازهٔ X[i, k] ضرب در جابه‌جایی حرکت می‌دهد. پس dL/dW[k, j] = جمع روی i از X[i, k] G[i, j]. این یک درایه از X.T @ G است که (3, 4) است: شکل W، همان‌طور که قاعده می‌گوید.

همین استدلال برای X نتیجهٔ dL/dX = G @ W.T با شکل (2, 3) را می‌دهد. یک راه سریع برای به خاطر سپردن هر دو: G را با ماتریس دیگر، ترانهاده‌شده، به تنها ترتیبی که شکل‌هایش جور است بگذارید.

ژاکوبین، و چرا هیچ‌کس آن را نمی‌سازد

جدول کامل اینکه هر درایهٔ خروجی با هر درایهٔ ورودی چگونه حرکت می‌کند ژاکوبین است. برای Y = X @ W با W به اندازهٔ 1000 در 1000 و 64 ردیف، آن جدول 64 هزار خروجی ضرب در یک میلیون وزن را داشت: 64 میلیارد درایه. گذر رو به عقب هرگز آن را نمی‌سازد: فقط به G ضرب در ژاکوبین نیاز دارد، که حاصل‌ضرب کوچک X.T @ G است. آن حاصل‌ضرب همان حاصل‌ضرب بردار-ژاکوبین درس قبل است.

ژاکوبین: شیب هر خروجی نسبت به هر ورودی، به‌صورت یک جدول بزرگ. حاصل‌ضرب بردار-ژاکوبین: گرادیانی که از یک گام به عقب فرستاده می‌شود، مستقیماً و بدون جدول محاسبه‌شده.

خلاصه همان شکل خود چیز. برای Y = X @ W: dW = X.T @ G و dX = G @ W.T.

واژه‌ها و نمادهای این درس
بردار
فهرستی از اعداد، یکی برای هر ویژگی
مشتق (df/dx)
اینکه خروجی به ازای هر واحد جابه‌جایی ورودی چقدر سریع تغییر می‌کند
نوبت شما

matmul_grads(X, W, G) را بنویسید که (dX, dW) را برای Y = X @ W برمی‌گرداند، و elementwise_grads(A, B, G) را که (dA, dB) را برای Y = A * B (شکل‌های یکسان، قلم به قلم) برمی‌گرداند. آزمون پنهان هر دو را با جابه‌جایی، روی شکل‌هایی که ندیده‌اید، بررسی می‌کند.

مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید

این تمرین به‌زودی باز می‌شود

درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و می‌توانید همین الان این درس را بخوانید.