المنهج الدراسي الدرس 73 من 246 · الوحدة 5: التحسين
الوحدة 5: التحسين

إيجاد معدل تعلم بسرعة، وقص القمم الحادة

لماذا هذا مهم تخمين معدلات التعلم يضيع أياما. تشغيل واحد قصير يخبرك بمعدل جيد. ويمكن لدفعة واحدة سيئة أن تفجر التشغيل ما لم تضع حداً للخطوة.

اختبار النطاق

قم بالتدريب لعدة مئات من الخطوات مع رفع learning rate قليلا في كل خطوة، من صغير جدا إلى ضخم، وسجل الـ loss. في البداية لا يحدث شيء؛ ثم ينخفض الـ loss بسرعة؛ ثم ينفجر. الـ learning rate الجيد يقع حيث كان الـ loss ينخفض بأسرع ما يمكن، تحت الانفجار بقليل. قاعدة شائعة: خذ الـ rate حيث كان الـ loss أقل ما يمكن واقسمه على 10.

Clipping

إذا تجاوز الحجم الكلي للتدرج (طوله، أو norm) حداً معيناً، قم بتصغير التدرج بالكامل إلى ذلك الطول. يتم الحفاظ على الاتجاه؛ فقط يتم كبح خطوة ضخمة نادرة.

معيار التدرج: طول جميع التدرجات باعتبارها متجها واحدا طويلا: الجذر التربيعي لمجموع مربعاتها.

الكلمات والرموز في هذا الدرس
معيار التدرج، قص
الحجم الإجمالي للـ gradient، وتحديد سقفه
دورك

اكتب pick_lr(lrs, losses): معدل التعلم حيث كان الفقد أقل، مقسوما على 10. و clip(grads, max_norm): grads هي قائمة من المصفوفات؛ إذا كان مجموع معيارها أعلى من max_norm، أعدها جميعا بمقياس يجعل المعيار يساوي max_norm، وإلا أعدها دون تغيير.

هل لاحظت مشكلة في هذا الدرس؟ أبلغ عنها · اسأل عن هذا الدرس

سيفتح هذا التمرين قريبا

أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.