تلاشي وانفجار التدرجات، مقاسة
لماذا هذا مهم لقد رأيت للتو التدرج لخطوة مبكرة مضروبا في w مرة واحدة لكل خطوة. مع وجود خطوات كثيرة، هذا الناتج إما يتقلص حتى يتلاشى أو ينفجر. هذه هي نقطة الضعف الرئيسية في RNNs العادية.
بدلاً من رقم، عند العودة خطوة واحدة باستخدام مصفوفة أوزان W، يتم ضرب التدرج في W المنقولة (مع تجاهل tanh، التي يمكنها فقط تقليصه أكثر). يمكن للخطوة الواحدة أن تزيد المتجه بحد أقصى أكبر تمدد لـ W، وهو spectral norm. عبر خطوات عديدة، ما يهم هو spectral radius، وهو حجم أكبر قيمة ذاتية لـ W (الوحدة 2، "كيف يتراكم الانتشار، وما الذي تمدده المصفوفة"): بعد k من الخطوات، تغير الحجم بنحو r مرفوعة للقوة k. (بالنسبة للدورانات المستخدمة أدناه، كلاهما نفس الرقم، r.) r = 0.9 عبر 50 خطوة: 0.005. r = 1.1 عبر 50 خطوة: 117.
علاجان مختلفان
العلاج البدائي لتلاشي التدرجات المتفجرة هو قصها (Module 5). لا يوجد علاج مماثل لتلاشي التدرجات. التدرج الكلي للوزن هو مجموع عبر كل مسافة إلى الوراء في الزمن؛ عندما تتقلص الحدود طويلة المدى مثل 0.9 مرفوعة للقوة 50، فإنها تغرق أمام الحدود قصيرة المدى، وتكبير المجموع بأكمله يكبر الضجيج معها. لا يمكن للشبكة ببساطة معرفة أن شيئا ما في الماضي البعيد كان مهما. العلاج هناك هو بنية مختلفة: الـ LSTM، تالياً.
الكلمات والرموز في هذا الدرس
- شبكة متكررة (RNN)
- شبكة تقرأ خطوة واحدة في كل مرة وتحمل حالة مخفية للأمام
- تلاشي / انفجار التدرج
- a تضيق إلى لا شيء أو تنفجر عند ضربها في المصفوفة نفسها عدة مرات
- LSTM
- شبكة RNN مع خلية ذاكرة c وثلاث بوابات: forget و input و output
اكتب gradient_sizes(W, steps): ابدأ من تدرج من الواحد، واضرب في W.T مرة واحدة في كل خطوة، وأرجع قائمة المعايير (واحد لكل خطوة). ثم اضبط verdicts على "vanish" أو "steady" أو "explode" للمصفوفات الثلاث، بناءً على المعيار بعد 50 خطوة (أقل من 0.01، بين 0.01 و 100، أكبر من 100).
سيفتح هذا التمرين قريبا
أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.
يقوم هذا المتصفح بحظر ملفات تعريف الارتباط لـ learn.floati.life، لذا لا يمكن فتح الدروس التي أنهيتها هنا بالترتيب. اسمح بملفات تعريف الارتباط لهذا الموقع وأعد التحميل.