التراجع عند تمدد الأشكال (broadcasting)
لماذا هذا مهم هذا هو الخطأ الأكثر شيوعا في autograd في العالم. يتم استخدام bias بشكل (4,) مضافا إلى batch بشكل (32, 4) لـ 32 مرة، لذا يجب أن يجمع gradient الخاص به كل المساهمات الـ 32.
أرقام صغيرة
out = X + b مع X (3, 2) و b (2,). التدرج الوارد هو (3, 2). تم نسخ b إلى جميع الصفوف الثلاثة، لذا حصلت كل نسخة على حصة: تدرج b هو المجموع عبر الصفوف، الشكل (2,). إذا أعدت مصفوفة (3, 2)، فلن تتطابق الأشكال بعد الآن، أو الأسوأ من ذلك، يخفي البث هذا الأمر وتكون الأرقام خاطئة بـ 3 مرات.
القاعدة: أينما أضاف added اتجاها، اطرحه؛ وأينما stretched اتجا بحجم 1، اجمعه ولكن أبقه بحجم 1.
خلاصة يعني Copied forward هو summed backward.
الكلمات والرموز في هذا الدرس
- autograd
- التدرجات التلقائية: أنت تكتب التمريرة الأمامية، والمحرك يقوم بالتمريرة العكسية
- Tensor
- here: مصفوفة بالإضافة إلى تدرجها بالإضافة إلى الـ Tensors التي أتت منها
- .grad
- تدرج الخسارة النهائية بالنسبة لهذا الـ Tensor
- unbroadcast
- إعادة تجميع التدرج إلى الشكل الذي تم شده منه
اكتب unbroadcast(grad, shape): sum من grad إلى shape. وظيفتا add و multiply تستدعيانها بالفعل.
سيفتح هذا التمرين قريبا
أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.
يقوم هذا المتصفح بحظر ملفات تعريف الارتباط لـ learn.floati.life، لذا لا يمكن فتح الدروس التي أنهيتها هنا بالترتيب. اسمح بملفات تعريف الارتباط لهذا الموقع وأعد التحميل.