جداول الإحماء وجيب التمام
لماذا هذا مهم ليس معدل التعلم الأفضل ثابتا طوال فترة التدريب. يتم تدريب النماذج الكبيرة دائما تقريبا باستخدام جدول زمني: بداية هادئة، ووسط طويل مرتفع، وهبوط بطيء.
شاهده
قم بتشغيل الرسوم المتحركة. الإحماء: يرتفع المعدل في خط مستقيم من قيمة قريبة من الصفر إلى ذروته خلال الخطوات المئوية الأولى، لأن التدرجات في البداية تكون كبيرة وغير موثوقة. اضمحلال جيب التمام: ثم ينزلق لأسفل على طول نصف موجة جيب التمام إلى حد أدنى صغير، لذا فإن التدريب المتأخر يتخذ خطوات صغيرة حذرة ويستقر في موقع جيد.
if step < warmup: lr = peak * (step + 1) / warmup
else: progress = (step - warmup) / (total - warmup)
lr = floor + (peak - floor) * 0.5 * (1 + cos(pi * progress))
ملخص التسارع، الثبات، الهبوط.
الكلمات والرموز في هذا الدرس
- إحماء، جيب التمام ابدأ بمعدل تعلم صغير
- ثم قم بخفضه تدريجيا وفقا لـ cosine
اكتب lr_at(step, total, warmup, peak, floor) باتباع الصيغ أعلاه (الخطوات تبدأ من 0).
سيفتح هذا التمرين قريبا
أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.
يقوم هذا المتصفح بحظر ملفات تعريف الارتباط لـ learn.floati.life، لذا لا يمكن فتح الدروس التي أنهيتها هنا بالترتيب. اسمح بملفات تعريف الارتباط لهذا الموقع وأعد التحميل.