حجم الدفعة ومعدل التعلم معاً
لماذا هذا مهم حجم الدفعة ومعدل التعلم ليسا أزرار تحكم منفصلة. عند تغيير أحدهما، تتغير القيمة المثلى للآخر.
حجم الدفعة الأكبر يعطي تدرجاً أقل ضجيجاً، لذا يمكنه اتخاذ خطوة أكبر بأمان. قاعدة تقريبية يبدأ منها الكثيرون: إذا ضاعفت حجم الدفعة، يمكنك تقريباً مضاعفة معدل التعلم، حتى النقطة التي تصبح فيها الخطوة غير مستقرة.
تتذبذبResults أيضاً من بذرة إلى أخرى، لذا قارن الإعدادات عبر عدة بذور، ولا تعتمد أبداً على تشغيل واحد.
فخ آخر: تحمل التسميات هنا ضجيجا بنسبة انتشار 0.1، لذا لا يمكن لأي إعداد أن يدفع الخسارة إلى ما دون حوالي 0.1 تربيع = 0.01. بالقرب من ذلك الحد الأدنى، تتعادل عدة أزواج (على سبيل المثال 0.0113 مقابل 0.0114). الفائز بفارق أقل من تذبذب البذرة إلى البذرة ليس فائزا، لذا تسرد التشغيلة أيضا كل زوج ضمن نطاق 5% من الأفضل.
خلاصة قم بضبطها معاً، ثم احسب المتوسط عبر seeds.
الكلمات والرموز في هذا الدرس
- SGD
- النزول الاشتقاقي باستخدام دفعات عشوائية صغيرة
توقع أولا: في my_pick، اكتب زوج (batch, lr) من الشبكة التي تعتقد أنها تنتهي بأقل loss بعد 2 epochs. ثم اكتب sweep(X, y, batches, lrs, seeds) الذي يعيد dictionary من (batch, lr) إلى mean final loss عبر ال seeds (استخدم sgd المعطى)، و best(results) الذي يعيد أفضل زوج.
سيفتح هذا التمرين قريبا
أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.
يقوم هذا المتصفح بحظر ملفات تعريف الارتباط لـ learn.floati.life، لذا لا يمكن فتح الدروس التي أنهيتها هنا بالترتيب. اسمح بملفات تعريف الارتباط لهذا الموقع وأعد التحميل.