تدرجات المصفوفات الكاملة (قاعدة الشكل)
لماذا هذا مهم تعمل الطبقات على المصفوفات كاملة، لذا فإن تدرجاتها هي مصفوفات أيضاً. قاعدة واحدة وحيلة واحدة تشتقان تقريباً كل عملية تمرير خلفي للطبقات دون حفظ أي شيء.
قاعدة الشكل
الخسارة L هي رقم واحد. تدرج L بالنسبة لأي مصفوفة له بالضبط شكل تلك المصفوفة: ميل واحد لكل إدخال. لذا إذا كانت W هي (3, 4)، فإن dL/dW هي (3, 4).
أرقام صغيرة: Y = X @ W
قل إن X هي (2, 3)، وW هي (3, 4)، وY = X @ W هي (2, 4)، وبعض الخطوات اللاحقة تحول Y إلى L. تعيد العملية العكسية G = dL/dY، بشكل (2, 4). كل مدخل Y[i, j] هو مجموع على k لـ X[i, k] W[k, j]. حرك W[k, j] قليلا: هذا يحرك كل Y[i, j] في العمود j بمقدار X[i, k] مضروبا في الحركة. لذا dL/dW[k, j] = مجموع على i لـ X[i, k] G[i, j]. هذا هو مدخل واحد من X.T @ G، وهو (3, 4): شكل W، كما تقول القاعدة.
نفس المنطق لـ X يعطي dL/dX = G @ W.T، بشكل (2, 3). طريقة سريعة لتذكر كليهما: ضع G مع المصفوفة الأخرى، منقولة، في الترتيب الوحيد الذي تتناسب فيه الأشكال.
مصفوفة Jacobian، ولماذا لا يقوم أحد ببنائها
جدول كامل لكيفية تحرك كل مدخل مخرجات مع كل مدخل هو Jacobian. بالنسبة لـ Y = X @ W حيث W بحجم 1000 في 1000 و64 صفاً، سيكون لهذا الجدول 64 ألف مخرج مضروبة في مليون وزن: 64 مليار مدخل. عملية Backward لا تبنيه أبداً: هي تحتاج فقط إلى G مضروبة في Jacobian، وهو حاصل الضرب الصغير X.T @ G. هذا الضرب هو حاصل ضرب vector-Jacobian من الدرس السابق.
Jacobian: ميل كل مخرج بالنسبة لكل مدخل، كجدول واحد كبير. Vector-Jacobian product: التدرج المرتد عبر خطوة واحدة، يتم حسابه مباشرة بدون الجدول.
ملخص نفس شكل الشيء. بالنسبة لـ Y = X @ W: تكون dW = X.T @ G و dX = G @ W.T.
الكلمات والرموز في هذا الدرس
- vector
- قائمة بالأرقام، رقم واحد لكل ميزة
- المشتقة (df/dx)
- ما مدى سرعة تغير المخرجات لكل وحدة دفع في المدخلات
اكتب matmul_grads(X, W, G) التي تعيد (dX, dW) لـ Y = X @ W، و elementwise_grads(A, B, G) التي تعيد (dA, dB) لـ Y = A * B (نفس الأشكال، عنصراً بعنصر). يختبر الاختبار المخفي كليهما ضد nudging، على أشكال لم ترها.
سيفتح هذا التمرين قريبا
أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.
يقوم هذا المتصفح بحظر ملفات تعريف الارتباط لـ learn.floati.life، لذا لا يمكن فتح الدروس التي أنهيتها هنا بالترتيب. اسمح بملفات تعريف الارتباط لهذا الموقع وأعد التحميل.