مقبض مستوى لكل وزن (RMSProp)
لماذا هذا مهم يقوم Momentum بتنعيم الاتجاه. يقوم RMSProp بإصلاح المشكلة الأخرى: تحصل بعض الأوزان على تدرجات ضخمة وأخرى صغيرة جدا، لذا لا يمكن لمعدل تعلم واحد أن يناسبها جميعا.
RMSProp، لكل وزن، بمتوسط تراكمي لمربع تدرجه: أي مدى قوة تدرج ذلك الوزن عادة. ثم يقسم كل خطوة على الجذر التربيعي لذلك، مثل خفض مستوى الصوت للأوزان الصاخبة ورفعه للأوزان الهادئة.
s = rho * s + (1 - rho) * grad ** 2
p = p - lr * grad / (np.sqrt(s) + eps)
على الوعاء الممتد، الاتجاه الحاد له تدرجات قوية ويتم خفضه، والاتجاه اللطيف يتم رفعه، ويتصرف الوعاء وكأنه مستدير تقريبًا. يعمل هذا هنا لأن الاتجاهات الحادة واللطيفة للوعاء تتماشى مع الوزنين. أمل الوعاء بزاوية 45 درجة، بحيث يرى كل وزن مزيجًا من كلا الاتجاهين، ولا يمكن لمفتاح مستوى صوت لكل وزن فصلهما: ثم تساعد RMSProp و Adam بشكل أقل بكثير. إنهما يعيدان القياس بناءً على مدى قوة تدرج كل وزن، وليس بناءً على الشكل الحقيقي للوعاء.
eps: رقم صغير مثل 1e-8 يمنع القسمة على صفر.
الكلمات والرموز في هذا الدرس
- الزخم (beta)
- الحفاظ على جزء من سرعة الخطوة الأخيرة
- RMSProp
- قسم خطوة كل وزن على مدى قوة تدرجه المعتادة
- Adam (m, v, t)
- momentum (m) بالإضافة إلى مقبض حجم لكل وزن (v)، مصحح للخطوات المبكرة (t)
اكتب rmsprop(grad, start, lr, rho, steps, eps=1e-8) مع إرجاع الموقع النهائي. يقارن الاختبار المخفي موقعك مع المرجع بعد بضع خطوات.
سيفتح هذا التمرين قريبا
أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.
يقوم هذا المتصفح بحظر ملفات تعريف الارتباط لـ learn.floati.life، لذا لا يمكن فتح الدروس التي أنهيتها هنا بالترتيب. اسمح بملفات تعريف الارتباط لهذا الموقع وأعد التحميل.