خطوات مشوشة (SGD و minibatches)
لماذا هذا مهم تحتوي مجموعات البيانات الحقيقية على ملايين الأمثلة. إن حساب التدرج الدقيق لكلها في كل خطوة بطيء جدا، لذا نقوم بتقديره من دفعة صغيرة.
A minibatch gradient يستخدم، على سبيل المثال، 32 مثالا عشوائيا بدلا من جميع الأمثلة الـ 512. يشير الاتجاه نحو الأسفل تقريبًا، مع وجود بعض الضجيج. تحصل على 16 خطوة رخيصة ومشوشة مقابل تكلفة خطوة واحدة دقيقة، وفي الممارسة العملية، يفوز ذلك بسهولة.
ما الذي يسببه الضجيج
يصبح منحنى الخسارة متعرجاً بدلاً من أن يكون ناعماً، ولا يستقر تماماً بالقرب من القاع، بل يتذبذب حول الحد الأدنى. يؤدي خفض learning rate في وقت متأخر من التدريب إلى تهدئة هذا التذبذب. حتى أن بعض الضجيج يكون مفيداً في الشبكات الكبيرة، حيث يخرج المسار من النقاط السيئة.
SGD: الانحدار الاشتقاقي العشوائي، الانحدار الاشتقاقي مع تقديرات الانحدار باستخدام minibatch.
خلاصة تتفوق العديد من الخطوات الرخيصة والمشوشة على خطوات قليلة دقيقة.
الكلمات والرموز في هذا الدرس
- SGD
- الانحدار الاشتقاقي باستخدام دفعات عشوائية صغيرة
- minibatch
- قطعة عشوائية صغيرة من البيانات المستخدمة لخطوة واحدة
اكتب sgd(X, y, lr, batch, epochs, seed) للانحدار الخطي (الخسارة: mean squared error)، مع خلط البيانات في كل epoch، وإرجاع (w, losses) حيث losses هي خسارة البيانات الكاملة بعد كل epoch. باستخدام batch 32 و lr 0.05 و 10 epochs يجب أن تنتهي القيمة تحت 0.02.
سيفتح هذا التمرين قريبا
أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.
يقوم هذا المتصفح بحظر ملفات تعريف الارتباط لـ learn.floati.life، لذا لا يمكن فتح الدروس التي أنهيتها هنا بالترتيب. اسمح بملفات تعريف الارتباط لهذا الموقع وأعد التحميل.