گرادیانهای ماتریسهای کامل (قاعدهٔ شکل)
چرا مهم است لایهها روی ماتریسهای کامل کار میکنند، پس گرادیانهایشان هم ماتریساند. یک قاعده و یک ترفند گذر رو به عقب تقریباً هر لایهای را بدون حفظ کردن چیزی به دست میآورند.
قاعدهٔ شکل
زیان L یک عدد است. گرادیان L نسبت به هر آرایهای دقیقاً شکل همان آرایه را دارد: یک شیب برای هر درایه. پس اگر W برابر (3, 4) باشد، dL/dW برابر (3, 4) است.
اعداد کوچک: Y = X @ W
فرض کنید X برابر (2, 3)، W برابر (3, 4) و Y = X @ W برابر (2, 4) است، و چند گام بعدی Y را به L تبدیل میکنند. گذر رو به عقب G = dL/dY را با شکل (2, 4) به شما میدهد. هر درایهٔ Y[i, j] جمعی روی k از X[i, k] W[k, j] است. W[k, j] را جابهجا کنید: هر Y[i, j] در ستون j را به اندازهٔ X[i, k] ضرب در جابهجایی حرکت میدهد. پس dL/dW[k, j] = جمع روی i از X[i, k] G[i, j]. این یک درایه از X.T @ G است که (3, 4) است: شکل W، همانطور که قاعده میگوید.
همین استدلال برای X نتیجهٔ dL/dX = G @ W.T با شکل (2, 3) را میدهد. یک راه سریع برای به خاطر سپردن هر دو: G را با ماتریس دیگر، ترانهادهشده، به تنها ترتیبی که شکلهایش جور است بگذارید.
ژاکوبین، و چرا هیچکس آن را نمیسازد
جدول کامل اینکه هر درایهٔ خروجی با هر درایهٔ ورودی چگونه حرکت میکند ژاکوبین است. برای Y = X @ W با W به اندازهٔ 1000 در 1000 و 64 ردیف، آن جدول 64 هزار خروجی ضرب در یک میلیون وزن را داشت: 64 میلیارد درایه. گذر رو به عقب هرگز آن را نمیسازد: فقط به G ضرب در ژاکوبین نیاز دارد، که حاصلضرب کوچک X.T @ G است. آن حاصلضرب همان حاصلضرب بردار-ژاکوبین درس قبل است.
ژاکوبین: شیب هر خروجی نسبت به هر ورودی، بهصورت یک جدول بزرگ. حاصلضرب بردار-ژاکوبین: گرادیانی که از یک گام به عقب فرستاده میشود، مستقیماً و بدون جدول محاسبهشده.
خلاصه همان شکل خود چیز. برای Y = X @ W: dW = X.T @ G و dX = G @ W.T.
واژهها و نمادهای این درس
- بردار
- فهرستی از اعداد، یکی برای هر ویژگی
- مشتق (df/dx)
- اینکه خروجی به ازای هر واحد جابهجایی ورودی چقدر سریع تغییر میکند
matmul_grads(X, W, G) را بنویسید که (dX, dW) را برای Y = X @ W برمیگرداند، و elementwise_grads(A, B, G) را که (dA, dB) را برای Y = A * B (شکلهای یکسان، قلم به قلم) برمیگرداند. آزمون پنهان هر دو را با جابهجایی، روی شکلهایی که ندیدهاید، بررسی میکند.
مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید
این تمرین بهزودی باز میشود
درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و میتوانید همین الان این درس را بخوانید.
این مرورگر کوکیهای learn.floati.life را مسدود میکند، پس درسهایی که اینجا تمام کردید نمیتوانند به ترتیب باز شوند. کوکیها را برای این سایت مجاز کنید و صفحه را دوباره بارگذاری کنید.