المنهج الدراسي الدرس 72 من 246 · الوحدة 5: التحسين
الوحدة 5: التحسين

جداول الإحماء وجيب التمام

لماذا هذا مهم ليس معدل التعلم الأفضل ثابتا طوال فترة التدريب. يتم تدريب النماذج الكبيرة دائما تقريبا باستخدام جدول زمني: بداية هادئة، ووسط طويل مرتفع، وهبوط بطيء.

شاهده

قم بتشغيل الرسوم المتحركة. الإحماء: يرتفع المعدل في خط مستقيم من قيمة قريبة من الصفر إلى ذروته خلال الخطوات المئوية الأولى، لأن التدرجات في البداية تكون كبيرة وغير موثوقة. اضمحلال جيب التمام: ثم ينزلق لأسفل على طول نصف موجة جيب التمام إلى حد أدنى صغير، لذا فإن التدريب المتأخر يتخذ خطوات صغيرة حذرة ويستقر في موقع جيد.

if step < warmup:  lr = peak * (step + 1) / warmup
else:              progress = (step - warmup) / (total - warmup)
                   lr = floor + (peak - floor) * 0.5 * (1 + cos(pi * progress))

ملخص التسارع، الثبات، الهبوط.

الكلمات والرموز في هذا الدرس
إحماء، جيب التمام
ابدأ بمعدل تعلم صغير
ثم قم بخفضه تدريجيا وفقا لـ cosine
دورك

اكتب lr_at(step, total, warmup, peak, floor) باتباع الصيغ أعلاه (الخطوات تبدأ من 0).

هل لاحظت مشكلة في هذا الدرس؟ أبلغ عنها · اسأل عن هذا الدرس

سيفتح هذا التمرين قريبا

أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.