المنهج الدراسي الدرس 29 من 246 · الوحدة 2: الرياضيات والاحتمالات، حسب الحاجة فقط
الوحدة 2: الرياضيات والاحتمالات، حسب الحاجة فقط

تدرجات المصفوفات الكاملة (قاعدة الشكل)

لماذا هذا مهم تعمل الطبقات على المصفوفات كاملة، لذا فإن تدرجاتها هي مصفوفات أيضاً. قاعدة واحدة وحيلة واحدة تشتقان تقريباً كل عملية تمرير خلفي للطبقات دون حفظ أي شيء.

قاعدة الشكل

الخسارة L هي رقم واحد. تدرج L بالنسبة لأي مصفوفة له بالضبط شكل تلك المصفوفة: ميل واحد لكل إدخال. لذا إذا كانت W هي (3, 4)، فإن dL/dW هي (3, 4).

أرقام صغيرة: Y = X @ W

قل إن X هي (2, 3)، وW هي (3, 4)، وY = X @ W هي (2, 4)، وبعض الخطوات اللاحقة تحول Y إلى L. تعيد العملية العكسية G = dL/dY، بشكل (2, 4). كل مدخل Y[i, j] هو مجموع على k لـ X[i, k] W[k, j]. حرك W[k, j] قليلا: هذا يحرك كل Y[i, j] في العمود j بمقدار X[i, k] مضروبا في الحركة. لذا dL/dW[k, j] = مجموع على i لـ X[i, k] G[i, j]. هذا هو مدخل واحد من X.T @ G، وهو (3, 4): شكل W، كما تقول القاعدة.

نفس المنطق لـ X يعطي dL/dX = G @ W.T، بشكل (2, 3). طريقة سريعة لتذكر كليهما: ضع G مع المصفوفة الأخرى، منقولة، في الترتيب الوحيد الذي تتناسب فيه الأشكال.

مصفوفة Jacobian، ولماذا لا يقوم أحد ببنائها

جدول كامل لكيفية تحرك كل مدخل مخرجات مع كل مدخل هو Jacobian. بالنسبة لـ Y = X @ W حيث W بحجم 1000 في 1000 و64 صفاً، سيكون لهذا الجدول 64 ألف مخرج مضروبة في مليون وزن: 64 مليار مدخل. عملية Backward لا تبنيه أبداً: هي تحتاج فقط إلى G مضروبة في Jacobian، وهو حاصل الضرب الصغير X.T @ G. هذا الضرب هو حاصل ضرب vector-Jacobian من الدرس السابق.

Jacobian: ميل كل مخرج بالنسبة لكل مدخل، كجدول واحد كبير. Vector-Jacobian product: التدرج المرتد عبر خطوة واحدة، يتم حسابه مباشرة بدون الجدول.

ملخص نفس شكل الشيء. بالنسبة لـ Y = X @ W: تكون dW = X.T @ G و dX = G @ W.T.

الكلمات والرموز في هذا الدرس
vector
قائمة بالأرقام، رقم واحد لكل ميزة
المشتقة (df/dx)
ما مدى سرعة تغير المخرجات لكل وحدة دفع في المدخلات
دورك

اكتب matmul_grads(X, W, G) التي تعيد (dX, dW) لـ Y = X @ W، و elementwise_grads(A, B, G) التي تعيد (dA, dB) لـ Y = A * B (نفس الأشكال، عنصراً بعنصر). يختبر الاختبار المخفي كليهما ضد nudging، على أشكال لم ترها.

هل لاحظت مشكلة في هذا الدرس؟ أبلغ عنها · اسأل عن هذا الدرس

سيفتح هذا التمرين قريبا

أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.