المنهج الدراسي الدرس 57 من 246 · الوحدة 4: محرك autograd الخاص بك
الوحدة 4: محرك autograd الخاص بك

التراجع عند تمدد الأشكال (broadcasting)

لماذا هذا مهم هذا هو الخطأ الأكثر شيوعا في autograd في العالم. يتم استخدام bias بشكل (4,) مضافا إلى batch بشكل (32, 4) لـ 32 مرة، لذا يجب أن يجمع gradient الخاص به كل المساهمات الـ 32.

أرقام صغيرة

out = X + b مع X (3, 2) و b (2,). التدرج الوارد هو (3, 2). تم نسخ b إلى جميع الصفوف الثلاثة، لذا حصلت كل نسخة على حصة: تدرج b هو المجموع عبر الصفوف، الشكل (2,). إذا أعدت مصفوفة (3, 2)، فلن تتطابق الأشكال بعد الآن، أو الأسوأ من ذلك، يخفي البث هذا الأمر وتكون الأرقام خاطئة بـ 3 مرات.

القاعدة: أينما أضاف added اتجاها، اطرحه؛ وأينما stretched اتجا بحجم 1، اجمعه ولكن أبقه بحجم 1.

خلاصة يعني Copied forward هو summed backward.

الكلمات والرموز في هذا الدرس
autograd
التدرجات التلقائية: أنت تكتب التمريرة الأمامية، والمحرك يقوم بالتمريرة العكسية
Tensor
here: مصفوفة بالإضافة إلى تدرجها بالإضافة إلى الـ Tensors التي أتت منها
.grad
تدرج الخسارة النهائية بالنسبة لهذا الـ Tensor
unbroadcast
إعادة تجميع التدرج إلى الشكل الذي تم شده منه
دورك

اكتب unbroadcast(grad, shape): sum من grad إلى shape. وظيفتا add و multiply تستدعيانها بالفعل.

هل لاحظت مشكلة في هذا الدرس؟ أبلغ عنها · اسأل عن هذا الدرس

سيفتح هذا التمرين قريبا

أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.