كرة ثقيلة (momentum)
لماذا هو مهم Momentum هو الأداة الأكثر فائدة لمعالجة الوديان الممتدة، وتقريبا كل optimiser ستستخدمه يحتوي عليه.
شاهده أولا
قم بتشغيل الرسوم المتحركة. يتحرك التدرج البسيط بشكل متعرج عبر الوادي. تحتفظ الكرة الثقيلة بجزء من سرعتها السابقة: تلغي التعرجات بعضها البعض (يسار، يمين، يسار) بينما يجمع السحب المستمر نحو الأسفل على طول الوادي الخطوات واحدة تلو الأخرى. لذا فإنها تسرع على طول أرضية الوادي.
سمِّهِ بالاسم
v = beta * v + grad # velocity: mostly the old velocity, plus the new push
p = p - lr * v
مع beta = 0.9 تتذكر الكرة تقريبًا آخر 10 دفعات.
لماذا التدرج البسيط بطيء هنا
في هذا الوعاء، يكون الاتجاه الحاد أشد خمسين مرة من الاتجاه اللطيف. يتم تحديد معدل تعلم الهبوط البسيط بواسطة الاتجاه الحاد: فوق 2/50 = 0.04، تكبر الخطوات عبر الوادي وتنفجر. تحت الحد مباشرة، عند 0.039، يتذبذب عبر الوادي (كل خطوة تتجاوز الهدف وتهبط على الجانب الآخر) بينما يزحف على طوله، لأن 0.039 هو معدل ضئيل للاتجاه اللطيف. يمكن لـ Momentum استخدام معدل أكبر والحفاظ على سرعته على طول الوادي: إنه يتجاوز الهدف في الاتجاه الحاد أيضاً، لكن تلك التأرجحات تلغي بعضها بينما تتراكم الدفعات على طول الأرضية.
(عندما تكون lr = 1/50 = 0.02 بالضبط لا يوجد أي zigzag على الإطلاق: خطوة واحدة تهبط على قاع الوادي، والباقي هو الزحف البطيء. جرب ذلك.)
(يرسم المشهد وادياً أكثر ليونة، وهو أكثر انحداراً بمقدار 25 مرة عرضياً، مع beta 0.5، لكي تناسب مساراته الشاشة؛ الأرقام في هذا الدرس هي للوادي الذي تبرمجه بمقدار 50 مرة.)
Momentum: مجموع تراكمي للتدرجات الأخيرة يعمل على تنعيم التذبذبات وبناء السرعة في الاتجاهات المتسقة.
الكلمات والرموز في هذا الدرس
- الزخم (beta)
- الحفاظ على جزء من سرعة الخطوة الأخيرة
اكتب steps_plain(lr) و steps_momentum(lr, beta): ابدأ من (1, 1) على الوعاء الممتد، واحسب الخطوات حتى تصبح المسافة إلى القاع أقل من 0.001 (بحد أقصى 20,000). أعطِ كل منهما إعدادات جيدة: نزول بسيط بمعدل lr 0.039، أقل قليلاً من حده، وزخم بمعدل lr 0.06 مع beta 0.6. يجب أن يحتاج الزخم إلى ثلث الخطوات كحد أقصى.
سيفتح هذا التمرين قريبا
أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.
يقوم هذا المتصفح بحظر ملفات تعريف الارتباط لـ learn.floati.life، لذا لا يمكن فتح الدروس التي أنهيتها هنا بالترتيب. اسمح بملفات تعريف الارتباط لهذا الموقع وأعد التحميل.