طبقات تحمل أوزانها الخاصة
لماذا هذا مهم تمتلك الشبكات الحقيقية طبقات عديدة. يجب أن تمتلك كل طبقة أوزانها الخاصة وتكون قادرة على إدراجها، لكي لا يضطر كود التدريب لمعرفة ما بداخلها أبدا.
A Linear على W و b كـ Tensors وتحسب x @ W + b. تحتوي MLP على قائمة من طبقات Linear مع ReLU بينها. توفر كلتاهما parameters() وهي قائمة بـ Tensors الأوزان الخاصة بها.
لماذا نصفر التدرجات
يضيف adds إلى كل grad. هذا صحيح خلال تمريرة واحدة، ولكن بين الخطوات يظل التدرج القديم موجودا. إذا نسيت مسحه فإن كل خطوة تستخدم مجموع كل التدرجات السابقة: ينجرف التدريب ثم ينفجر. لذا كل خطوة هي: تصفير grads، ثم forward، ثم backward، ثم step.
Parameter: وزن يغيره التدريب. zero_grad: إعادة تعيين grad لكل معلمة إلى صفر قبل الخطوة backward التالية.
ابدأ الأوزان بانتشار sqrt(2 / inputs)، وهو ما يحافظ على حجم الإشارات منطقياً عبر طبقات ReLU. يشرح Module 6 السبب.
الكلمات والرموز في هذا الدرس
- Tensor
- here: مصفوفة بالإضافة إلى تدرجها بالإضافة إلى الـ Tensors التي أتت منها
- unbroadcast
- إعادة تجميع التدرج إلى الشكل الذي تم شده منه
- zero_grad
- إعادة تعيين التدرجات قبل الخطوة التالية، لأن backward يضيف إليها
اكتب Linear و MLP و zero_grad(params) و sgd_step(params, lr) كما هو موضح. يقوم MLP([64, 32, 10], rng) بإنشاء طبقتين Linear مع ReLU بينهما ولا توجد طبقة بعد الأخيرة.
سيفتح هذا التمرين قريبا
أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.
يقوم هذا المتصفح بحظر ملفات تعريف الارتباط لـ learn.floati.life، لذا لا يمكن فتح الدروس التي أنهيتها هنا بالترتيب. اسمح بملفات تعريف الارتباط لهذا الموقع وأعد التحميل.