المنهج الدراسي الدرس 75 من 246 · الوحدة 6: الأوزان الابتدائية والتطبيع
الوحدة 6: الأوزان الابتدائية والتطبيع

إشارات عبر 20 طبقة

لماذا هذا مهم قبل أن تتعلم الشبكة العميقة أي شيء، يجب أن تنجو الإشارة من الرحلة عبر كل طبقة. غالبا لا تنجو، ولا يمكن لأي optimiser إصلاح ذلك.

ادفع دفعة من المدخلات العشوائية عبر 20 طبقة من h = relu(h @ W)، مع سحب كل وزن من توزيع طبيعي بمدى معين. بعد كل طبقة، قم بقياس المدى (الانحراف المعياري) للتنشيطات.

أرقام صغيرة

تضرب كل طبقة الحجم النموذجي للإشارة في نفس العامل تقريبًا. إذا كان ذلك العامل 0.5، فبعد 20 طبقة تصبح الإشارة 0.5 أس 20: حوالي واحد من مليون. إذا كان 2، فهي أكبر بحوالي مليون مرة. فقط العامل القريب من 1 يبقى.

ملخص تحول Depth التغييرات الصغيرة لكل طبقة إلى تغييرات ضخمة.

الكلمات والرموز في هذا الدرس
Xavier، LeCun، He
تبدأ الأوزان بـ sqrt(2 / (inputs + outputs)) أو 1 / sqrt(inputs) لـ tanh، و sqrt(2 / inputs) لـ ReLU
دورك

اكتب spreads(scale, depth=20, width=100, seed=0): ابدأ من h = rng.standard_normal((256, width))، ثم لكل طبقة ارسم W = rng.normal(0, scale, (width, width)) واضبط h = relu(h @ W). أعد قائمة h.std() بعد كل طبقة.

هل لاحظت مشكلة في هذا الدرس؟ أبلغ عنها · اسأل عن هذا الدرس

سيفتح هذا التمرين قريبا

أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.