المنهج الدراسي الدرس 70 من 246 · الوحدة 5: التحسين
الوحدة 5: التحسين

آدم: الكرة بالإضافة إلى المقابض

لماذا هو مهم Adam هو المحسن الافتراضي لمعظم التعلم العميق. إنه يجمع بين momentum و RMSProp، بالإضافة إلى تصحيح صغير يهم كثيرا في البداية.

الأرقام الصغيرة أولا

وزن واحد، beta1 = 0.9، beta2 = 0.999، lr = 0.1. التدرج عند الخطوة 1 هو 2.0. المتوسط المتحرك للتدرجات، m، يبدأ من 0: m = 0.9 * 0 + 0.1 * 2 = 0.2. لكن التدرج الفعلي الأخير هو 2، وليس 0.2: m منحاز نحو صفر البداية. اقسم على (1 - 0.9 مرفوعة للقوة t) لإصلاحه: 0.2 / 0.1 = 2.0. نفس التصحيح للمتوسط المربع v: 0.004 / 0.001 = 4.0. الخطوة Step = 0.1 * 2 / sqrt(4) = 0.1.

بدون التصحيح ستكون الخطوة الأولى 0.1 * 0.2 / sqrt(0.004) = 0.32، وهي أكبر من الحجم المطلوب بأكثر من ثلاث مرات، وفي الشبكة الحقيقية يمكن لهذه الخطوات الأولى العشوائية أن تدمر بداية التدريب.

m = b1 * m + (1 - b1) * g
v = b2 * v + (1 - b2) * g ** 2
m_hat = m / (1 - b1 ** t)
v_hat = v / (1 - b2 ** t)
p = p - lr * m_hat / (np.sqrt(v_hat) + eps)

تصحيح الانحياز: القسمة على (1 - beta أس t) لكي لا يتم تقدير المتوسطات التي بدأت من الصفر بأقل من قيمتها في الخطوات الأولى. t تحسب الخطوات بدءا من 1.

الكلمات والرموز في هذا الدرس
الزخم (beta)
الحفاظ على جزء من سرعة الخطوة الأخيرة
RMSProp
قسم خطوة كل وزن على مدى قوة تدرجه عادة
Adam (m, v, t)
momentum (m) بالإضافة إلى مقبض حجم لكل وزن (v)، مصحح للخطوات المبكرة (t)
دورك

املأ أولا first_step_with و first_step_without: حجم الخطوة 1 في المثال أعلاه، مع وبدون تصحيح الانحياز. ثم اكتب الفئة Adam(lr, b1=0.9, b2=0.999, eps=1e-8) مع دالة step(p, g) التي تعيد مصفوفة المعاملات المحدثة.

هل لاحظت مشكلة في هذا الدرس؟ أبلغ عنها · اسأل عن هذا الدرس

سيفتح هذا التمرين قريبا

أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.