المنهج الدراسي الدرس 67 من 246 · الوحدة 5: التحسين
الوحدة 5: التحسين

حجم الدفعة ومعدل التعلم معاً

لماذا هذا مهم حجم الدفعة ومعدل التعلم ليسا أزرار تحكم منفصلة. عند تغيير أحدهما، تتغير القيمة المثلى للآخر.

حجم الدفعة الأكبر يعطي تدرجاً أقل ضجيجاً، لذا يمكنه اتخاذ خطوة أكبر بأمان. قاعدة تقريبية يبدأ منها الكثيرون: إذا ضاعفت حجم الدفعة، يمكنك تقريباً مضاعفة معدل التعلم، حتى النقطة التي تصبح فيها الخطوة غير مستقرة.

تتذبذب

Results أيضاً من بذرة إلى أخرى، لذا قارن الإعدادات عبر عدة بذور، ولا تعتمد أبداً على تشغيل واحد.

فخ آخر: تحمل التسميات هنا ضجيجا بنسبة انتشار 0.1، لذا لا يمكن لأي إعداد أن يدفع الخسارة إلى ما دون حوالي 0.1 تربيع = 0.01. بالقرب من ذلك الحد الأدنى، تتعادل عدة أزواج (على سبيل المثال 0.0113 مقابل 0.0114). الفائز بفارق أقل من تذبذب البذرة إلى البذرة ليس فائزا، لذا تسرد التشغيلة أيضا كل زوج ضمن نطاق 5% من الأفضل.

خلاصة قم بضبطها معاً، ثم احسب المتوسط عبر seeds.

الكلمات والرموز في هذا الدرس
SGD
النزول الاشتقاقي باستخدام دفعات عشوائية صغيرة
دورك

توقع أولا: في my_pick، اكتب زوج (batch, lr) من الشبكة التي تعتقد أنها تنتهي بأقل loss بعد 2 epochs. ثم اكتب sweep(X, y, batches, lrs, seeds) الذي يعيد dictionary من (batch, lr) إلى mean final loss عبر ال seeds (استخدم sgd المعطى)، و best(results) الذي يعيد أفضل زوج.

هل لاحظت مشكلة في هذا الدرس؟ أبلغ عنها · اسأل عن هذا الدرس

سيفتح هذا التمرين قريبا

أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.