إشارات عبر 20 طبقة
لماذا هذا مهم قبل أن تتعلم الشبكة العميقة أي شيء، يجب أن تنجو الإشارة من الرحلة عبر كل طبقة. غالبا لا تنجو، ولا يمكن لأي optimiser إصلاح ذلك.
ادفع دفعة من المدخلات العشوائية عبر 20 طبقة من h = relu(h @ W)، مع سحب كل وزن من توزيع طبيعي بمدى معين. بعد كل طبقة، قم بقياس المدى (الانحراف المعياري) للتنشيطات.
أرقام صغيرة
تضرب كل طبقة الحجم النموذجي للإشارة في نفس العامل تقريبًا. إذا كان ذلك العامل 0.5، فبعد 20 طبقة تصبح الإشارة 0.5 أس 20: حوالي واحد من مليون. إذا كان 2، فهي أكبر بحوالي مليون مرة. فقط العامل القريب من 1 يبقى.
ملخص تحول Depth التغييرات الصغيرة لكل طبقة إلى تغييرات ضخمة.
الكلمات والرموز في هذا الدرس
- Xavier، LeCun، He
- تبدأ الأوزان بـ sqrt(2 / (inputs + outputs)) أو 1 / sqrt(inputs) لـ tanh، و sqrt(2 / inputs) لـ ReLU
اكتب spreads(scale, depth=20, width=100, seed=0): ابدأ من h = rng.standard_normal((256, width))، ثم لكل طبقة ارسم W = rng.normal(0, scale, (width, width)) واضبط h = relu(h @ W). أعد قائمة h.std() بعد كل طبقة.
سيفتح هذا التمرين قريبا
أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.
يقوم هذا المتصفح بحظر ملفات تعريف الارتباط لـ learn.floati.life، لذا لا يمكن فتح الدروس التي أنهيتها هنا بالترتيب. اسمح بملفات تعريف الارتباط لهذا الموقع وأعد التحميل.