المنهج الدراسي الدرس 61 من 246 · الوحدة 4: محرك autograd الخاص بك
الوحدة 4: محرك autograd الخاص بك

طبقات تحمل أوزانها الخاصة

لماذا هذا مهم تمتلك الشبكات الحقيقية طبقات عديدة. يجب أن تمتلك كل طبقة أوزانها الخاصة وتكون قادرة على إدراجها، لكي لا يضطر كود التدريب لمعرفة ما بداخلها أبدا.

تحتوي طبقة

A Linear على W و b كـ Tensors وتحسب x @ W + b. تحتوي MLP على قائمة من طبقات Linear مع ReLU بينها. توفر كلتاهما parameters() وهي قائمة بـ Tensors الأوزان الخاصة بها.

لماذا نصفر التدرجات

يضيف adds إلى كل grad. هذا صحيح خلال تمريرة واحدة، ولكن بين الخطوات يظل التدرج القديم موجودا. إذا نسيت مسحه فإن كل خطوة تستخدم مجموع كل التدرجات السابقة: ينجرف التدريب ثم ينفجر. لذا كل خطوة هي: تصفير grads، ثم forward، ثم backward، ثم step.

Parameter: وزن يغيره التدريب. zero_grad: إعادة تعيين grad لكل معلمة إلى صفر قبل الخطوة backward التالية.

ابدأ الأوزان بانتشار sqrt(2 / inputs)، وهو ما يحافظ على حجم الإشارات منطقياً عبر طبقات ReLU. يشرح Module 6 السبب.

الكلمات والرموز في هذا الدرس
Tensor
here: مصفوفة بالإضافة إلى تدرجها بالإضافة إلى الـ Tensors التي أتت منها
unbroadcast
إعادة تجميع التدرج إلى الشكل الذي تم شده منه
zero_grad
إعادة تعيين التدرجات قبل الخطوة التالية، لأن backward يضيف إليها
دورك

اكتب Linear و MLP و zero_grad(params) و sgd_step(params, lr) كما هو موضح. يقوم MLP([64, 32, 10], rng) بإنشاء طبقتين Linear مع ReLU بينهما ولا توجد طبقة بعد الأخيرة.

هل لاحظت مشكلة في هذا الدرس؟ أبلغ عنها · اسأل عن هذا الدرس

سيفتح هذا التمرين قريبا

أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.