المنهج الدراسي الدرس 88 من 246 · الوحدة 7: العمل على بيانات جديدة
الوحدة 7: العمل على بيانات جديدة

Dropout، تم البناء

لماذا هو مهم Dropout هي طريقة بسيطة لمنع الشبكة من الاعتماد بشكل مفرط على أي وحدة واحدة، وسترى ذلك داخل العديد من النماذج.

أثناء التدريب، يقوم dropout بإيقاف كل وحدة عشوائيا باحتمالية p (مثلا 0.5) في كل خطوة. لا يمكن للشبكة الاعتماد على أي وحدة واحدة، لأنها قد تختفي في الخطوة التالية، لذا فهي توزع ما تعرفه عبر وحدات كثيرة.

الحفاظ على المتوسط الصحيح

إذا تم إيقاف تشغيل نصف الوحدات، فإن الطبقة التالية تستقبل حوالي نصف الإشارة فقط. يعالج inverted dropout هذا الأمر أثناء التدريب: يتم ضرب الوحدات التي تبقى في 1 / (1 - p)، هنا 2. في وقت التقييم، لا يفعل dropout أي شيء على الإطلاق، وتتطابق الإشارة المتوسطة مع التدريب. (الورقة الأصلية لعام 2014 قامت بالقياس في وقت التقييم بدلا من ذلك؛ النتيجة هي نفسها، لكن inverted dropout يبقي كود التقييم دون تغيير.)

معدل Dropout p: احتمال إيقاف وحدة معينة أثناء التدريب.

الكلمات والرموز في هذا الدرس
dropout (p)
إيقاف الوحدات عشوائيا باحتمالية p أثناء التدريب
دورك

اكتب dropout(h, p, training, rng): في التدريب، اجعل كل إدخال صفراً باحتمالية p وقم بضرب العناصر المتبقية في 1 / (1 - p)؛ وإلا أعد h دون تغيير. استخدم rng.random(h.shape) >= p كقناع للإبقاء.

هل لاحظت مشكلة في هذا الدرس؟ أبلغ عنها · اسأل عن هذا الدرس

سيفتح هذا التمرين قريبا

أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.