آدم: الكرة بالإضافة إلى المقابض
لماذا هو مهم Adam هو المحسن الافتراضي لمعظم التعلم العميق. إنه يجمع بين momentum و RMSProp، بالإضافة إلى تصحيح صغير يهم كثيرا في البداية.
الأرقام الصغيرة أولا
وزن واحد، beta1 = 0.9، beta2 = 0.999، lr = 0.1. التدرج عند الخطوة 1 هو 2.0. المتوسط المتحرك للتدرجات، m، يبدأ من 0: m = 0.9 * 0 + 0.1 * 2 = 0.2. لكن التدرج الفعلي الأخير هو 2، وليس 0.2: m منحاز نحو صفر البداية. اقسم على (1 - 0.9 مرفوعة للقوة t) لإصلاحه: 0.2 / 0.1 = 2.0. نفس التصحيح للمتوسط المربع v: 0.004 / 0.001 = 4.0. الخطوة Step = 0.1 * 2 / sqrt(4) = 0.1.
بدون التصحيح ستكون الخطوة الأولى 0.1 * 0.2 / sqrt(0.004) = 0.32، وهي أكبر من الحجم المطلوب بأكثر من ثلاث مرات، وفي الشبكة الحقيقية يمكن لهذه الخطوات الأولى العشوائية أن تدمر بداية التدريب.
m = b1 * m + (1 - b1) * g
v = b2 * v + (1 - b2) * g ** 2
m_hat = m / (1 - b1 ** t)
v_hat = v / (1 - b2 ** t)
p = p - lr * m_hat / (np.sqrt(v_hat) + eps)
تصحيح الانحياز: القسمة على (1 - beta أس t) لكي لا يتم تقدير المتوسطات التي بدأت من الصفر بأقل من قيمتها في الخطوات الأولى. t تحسب الخطوات بدءا من 1.
الكلمات والرموز في هذا الدرس
- الزخم (beta)
- الحفاظ على جزء من سرعة الخطوة الأخيرة
- RMSProp
- قسم خطوة كل وزن على مدى قوة تدرجه عادة
- Adam (m, v, t)
- momentum (m) بالإضافة إلى مقبض حجم لكل وزن (v)، مصحح للخطوات المبكرة (t)
املأ أولا first_step_with و first_step_without: حجم الخطوة 1 في المثال أعلاه، مع وبدون تصحيح الانحياز. ثم اكتب الفئة Adam(lr, b1=0.9, b2=0.999, eps=1e-8) مع دالة step(p, g) التي تعيد مصفوفة المعاملات المحدثة.
سيفتح هذا التمرين قريبا
أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.
يقوم هذا المتصفح بحظر ملفات تعريف الارتباط لـ learn.floati.life، لذا لا يمكن فتح الدروس التي أنهيتها هنا بالترتيب. اسمح بملفات تعريف الارتباط لهذا الموقع وأعد التحميل.