للخلف لضرب المصفوفات
لماذا هذا مهم عملية Matrix multiply هي المحرك الأساسي لكل طبقة. قاعدتها العكسية تتكون من سطرين، ويمكنك استنتاجها من الأشكال فقط.
أرقام صغيرة
خذ out = A @ B مصفوفة A بشكل (2, 3) ومصفوفة B بشكل (3, 4)، فتكون النتيجة out بشكل (2, 4). التدرج القادم، G، له شكل out وهو (2, 4). يجب أن يكون تدرج A بنفس شكل A وهو (2, 3). الطريقة الوحيدة للحصول على (2, 3) من G (2, 4) و B (3, 4) هي G @ B.T. وبالمثل، يجب أن يكون تدرج B (3, 4) هو A.T @ G.
تحقق من إدخال واحد في ذهنك: out[0, 0] = A[0, 0] B[0, 0] + A[0, 1] B[1, 0] + A[0, 2] B[2, 0]. قم بتغيير A[0, 1] قليلا وستتحرك out[0, 0] بمقدار B[1, 0] مضروبا في مقدار التغيير. هذا هو بالضبط الإدخال (0, 1) في G @ B.T عندما تكون G تساوي 1 عند (0, 0) وتساوي 0 في أي مكان آخر.
ملخص dA = G @ B.T, dB = A.T @ G. إذا نسيت، طابق الأشكال.
الكلمات والرموز في هذا الدرس
- Tensor
- here: مصفوفة بالإضافة إلى تدرجها بالإضافة إلى الـ Tensors التي جاءت منها
- .grad
- تدرج الخسارة النهائية بالنسبة لهذا الـ Tensor
- unbroadcast
- تلخيص التدرج للعودة إلى الشكل الذي تم شده منه
اكتب __matmul__ مع _backward الخاص به. تتحقق اختبارات التدرج المخفية (A @ B) * C للأشكال العشوائية.
سيفتح هذا التمرين قريبا
أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.
يقوم هذا المتصفح بحظر ملفات تعريف الارتباط لـ learn.floati.life، لذا لا يمكن فتح الدروس التي أنهيتها هنا بالترتيب. اسمح بملفات تعريف الارتباط لهذا الموقع وأعد التحميل.