المنهج الدراسي الدرس 69 من 246 · الوحدة 5: التحسين
الوحدة 5: التحسين

مقبض مستوى لكل وزن (RMSProp)

لماذا هذا مهم يقوم Momentum بتنعيم الاتجاه. يقوم RMSProp بإصلاح المشكلة الأخرى: تحصل بعض الأوزان على تدرجات ضخمة وأخرى صغيرة جدا، لذا لا يمكن لمعدل تعلم واحد أن يناسبها جميعا.

يحتفظ

RMSProp، لكل وزن، بمتوسط تراكمي لمربع تدرجه: أي مدى قوة تدرج ذلك الوزن عادة. ثم يقسم كل خطوة على الجذر التربيعي لذلك، مثل خفض مستوى الصوت للأوزان الصاخبة ورفعه للأوزان الهادئة.

s = rho * s + (1 - rho) * grad ** 2
p = p - lr * grad / (np.sqrt(s) + eps)

على الوعاء الممتد، الاتجاه الحاد له تدرجات قوية ويتم خفضه، والاتجاه اللطيف يتم رفعه، ويتصرف الوعاء وكأنه مستدير تقريبًا. يعمل هذا هنا لأن الاتجاهات الحادة واللطيفة للوعاء تتماشى مع الوزنين. أمل الوعاء بزاوية 45 درجة، بحيث يرى كل وزن مزيجًا من كلا الاتجاهين، ولا يمكن لمفتاح مستوى صوت لكل وزن فصلهما: ثم تساعد RMSProp و Adam بشكل أقل بكثير. إنهما يعيدان القياس بناءً على مدى قوة تدرج كل وزن، وليس بناءً على الشكل الحقيقي للوعاء.

eps: رقم صغير مثل 1e-8 يمنع القسمة على صفر.

الكلمات والرموز في هذا الدرس
الزخم (beta)
الحفاظ على جزء من سرعة الخطوة الأخيرة
RMSProp
قسم خطوة كل وزن على مدى قوة تدرجه المعتادة
Adam (m, v, t)
momentum (m) بالإضافة إلى مقبض حجم لكل وزن (v)، مصحح للخطوات المبكرة (t)
دورك

اكتب rmsprop(grad, start, lr, rho, steps, eps=1e-8) مع إرجاع الموقع النهائي. يقارن الاختبار المخفي موقعك مع المرجع بعد بضع خطوات.

هل لاحظت مشكلة في هذا الدرس؟ أبلغ عنها · اسأل عن هذا الدرس

سيفتح هذا التمرين قريبا

أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.