المنهج الدراسي الدرس 95 من 246 · الوحدة 8: تشغيل Clinic I
الوحدة 8: تشغيل Clinic I

مجساتك الخاصة

لماذا هذا مهم الـ Probes هي الطريقة التي ترى بها ما يحدث داخل عملية التشغيل. كتابتها بنفسك يعني أنك ستعرف ماذا تعني الأرقام عندما يعرضها لك الـ tool.

تقوم ثلاثة مجسات بمعظم العمل:

  • حجم التدرج لكل طبقة: طول (norm) تدرج كل مصفوفة أوزان. الكل أصفار: لا شيء يتعلم. اختلاف كبير بين الطبقات: طبقة واحدة محرومة.
  • Dead share: نسبة الوحدات المخفية التي تخرج صفراً لكل مثال في الدفعة.
  • نسبة التحديث إلى الوزن: معدل التعلم مضروبا في حجم gradient، مقسوما على حجم الوزن. يوضح هذا النسبة التي تتغير بها كل وزن في خطوة واحدة. حوالي 0.001 إلى 0.1 تعتبر جيدة؛ القيمة القريبة من 1 تعني أن كل خطوة تعيد كتابة الأوزان؛ والقيمة القريبة من 0 تعني أن لا شيء يتحرك.

يكشف الهيكل عن مكوناته الداخلية: _data(c) يعطي بيانات التدريب، و_init(c) الأوزان الأولية، و_fb(p, X, y, c) يعيد (loss, gradients, hidden activations).

الكلمات والرموز في هذا الدرس
probe
قياس سريع لعملية التشغيل، مثل أحجام gradient أو الوحدات غير النشطة
نسبة التحديث إلى الوزن
كم تغير الخطوة الواحدة لكل وزن، بالنسبة لحجمه
دورك

اكتب my_grad_norms(c) و my_dead_share(c) و my_update_ratio(c) باستخدام أول 256 مثال تدريب والأوزان الأولية. يجب أن تتطابق مع مجسات العيادة.

هل لاحظت مشكلة في هذا الدرس؟ أبلغ عنها · اسأل عن هذا الدرس

سيفتح هذا التمرين قريبا

أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.