المنهج الدراسي الدرس 56 من 246 · الوحدة 4: محرك autograd الخاص بك
الوحدة 4: محرك autograd الخاص بك

للخلف لضرب المصفوفات

لماذا هذا مهم عملية Matrix multiply هي المحرك الأساسي لكل طبقة. قاعدتها العكسية تتكون من سطرين، ويمكنك استنتاجها من الأشكال فقط.

أرقام صغيرة

خذ out = A @ B مصفوفة A بشكل (2, 3) ومصفوفة B بشكل (3, 4)، فتكون النتيجة out بشكل (2, 4). التدرج القادم، G، له شكل out وهو (2, 4). يجب أن يكون تدرج A بنفس شكل A وهو (2, 3). الطريقة الوحيدة للحصول على (2, 3) من G (2, 4) و B (3, 4) هي G @ B.T. وبالمثل، يجب أن يكون تدرج B (3, 4) هو A.T @ G.

تحقق من إدخال واحد في ذهنك: out[0, 0] = A[0, 0] B[0, 0] + A[0, 1] B[1, 0] + A[0, 2] B[2, 0]. قم بتغيير A[0, 1] قليلا وستتحرك out[0, 0] بمقدار B[1, 0] مضروبا في مقدار التغيير. هذا هو بالضبط الإدخال (0, 1) في G @ B.T عندما تكون G تساوي 1 عند (0, 0) وتساوي 0 في أي مكان آخر.

ملخص dA = G @ B.T, dB = A.T @ G. إذا نسيت، طابق الأشكال.

الكلمات والرموز في هذا الدرس
Tensor
here: مصفوفة بالإضافة إلى تدرجها بالإضافة إلى الـ Tensors التي جاءت منها
.grad
تدرج الخسارة النهائية بالنسبة لهذا الـ Tensor
unbroadcast
تلخيص التدرج للعودة إلى الشكل الذي تم شده منه
دورك

اكتب __matmul__ مع _backward الخاص به. تتحقق اختبارات التدرج المخفية (A @ B) * C للأشكال العشوائية.

هل لاحظت مشكلة في هذا الدرس؟ أبلغ عنها · اسأل عن هذا الدرس

سيفتح هذا التمرين قريبا

أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.