المنهج الدراسي الدرس 84 من 246 · الوحدة 6: الأوزان الابتدائية والتطبيع
الوحدة 6: الأوزان الابتدائية والتطبيع

اختصارات (اتصالات متبقية)

لماذا هذا مهم الاتصالات المتبقية هي السبب في أن الشبكات ذات المئات من الطبقات تتدرب أصلا. كل وحدة transformer تستخدمها.

تستبدل الطبقة

مدخلاتها: h = f(h). وتضيف الكتلة المتبقية إليها: h = h + f(h). إذا لم تتعلم f أي شيء مفيد، فإن الكتلة تمرر h ببساطة دون تغيير، لذا فإن العمق الإضافي لا يمكن أن يجعل الأمور أسوأ في البداية. وفي طريق العودة، يكون للـ gradient مسار مباشر عبر مسار "+ h"، متخطياً الطبقة بالكامل، لذا لا يمكن أن يتلاشى.

تحذير عادل بشأن التجربة أدناه: تبدأ كلتا الشبكتين من نفس الأوزان الصغيرة عمداً، N(0, 0.1). هذه البداية هي ما يغرق الشبكة البسيطة. مع أوزان He البدائية من وقت سابق في هذه الوحدة، تتدرب الشبكة البسيطة المكونة من 30 طبقة أيضاً (5 من أصل 6 بذور في تشغيلات الدورة). ما تضيفه الاختصارات هو المتانة: فهي تتدرب حتى من بداية ضعيفة، وتستمر في العمل عند أعماق حيث لا تكفي أوزان البداية الدقيقة وحدها.

هنا يتم أيضاً قياس مساهمة كل كتلة بـ 1 / depth، وهي حيلة شائعة لكي لا تؤدي 30 عملية addition إلى تضخيم الإشارة.

اتصال متبقي (أو اتصال تخطي، اختصار): إضافة مدخل الكتلة إلى مخرجها.

توقّع المنحنى: توقع الخسارة النهائية بعد 150 خطوة للشبكة العادية وللشبكة التي تحتوي على اختصارات. (خسارة قدرها 0.693 تعني رمية عملة لهذا العمل ذو الفئتين.)

الكلمات والرموز في هذا الدرس
Xavier، LeCun، He
تبدأ الأوزان بـ sqrt(2 / (inputs + outputs)) أو 1 / sqrt(inputs) لـ tanh، و sqrt(2 / inputs) لـ ReLU
اتصال متبقي
إضافة مدخل الكتلة إلى مخرجها: h + f(h)
دورك

املأ my_guess. ثم اكتب block(h, W, b, shortcuts, depth): بدون اختصارات أعد relu(h @ W + b)؛ مع الاختصارات أعد h + relu(h @ W + b) * (1 / depth). تختبر الاختبارات شبكتي 30-layer من نفس الأوزان الأولية الصغيرة.

هل لاحظت مشكلة في هذا الدرس؟ أبلغ عنها · اسأل عن هذا الدرس

سيفتح هذا التمرين قريبا

أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.