المنهج الدراسي الدرس 66 من 246 · الوحدة 5: التحسين
الوحدة 5: التحسين

خطوات مشوشة (SGD و minibatches)

لماذا هذا مهم تحتوي مجموعات البيانات الحقيقية على ملايين الأمثلة. إن حساب التدرج الدقيق لكلها في كل خطوة بطيء جدا، لذا نقوم بتقديره من دفعة صغيرة.

A minibatch gradient يستخدم، على سبيل المثال، 32 مثالا عشوائيا بدلا من جميع الأمثلة الـ 512. يشير الاتجاه نحو الأسفل تقريبًا، مع وجود بعض الضجيج. تحصل على 16 خطوة رخيصة ومشوشة مقابل تكلفة خطوة واحدة دقيقة، وفي الممارسة العملية، يفوز ذلك بسهولة.

ما الذي يسببه الضجيج

يصبح منحنى الخسارة متعرجاً بدلاً من أن يكون ناعماً، ولا يستقر تماماً بالقرب من القاع، بل يتذبذب حول الحد الأدنى. يؤدي خفض learning rate في وقت متأخر من التدريب إلى تهدئة هذا التذبذب. حتى أن بعض الضجيج يكون مفيداً في الشبكات الكبيرة، حيث يخرج المسار من النقاط السيئة.

SGD: الانحدار الاشتقاقي العشوائي، الانحدار الاشتقاقي مع تقديرات الانحدار باستخدام minibatch.

خلاصة تتفوق العديد من الخطوات الرخيصة والمشوشة على خطوات قليلة دقيقة.

الكلمات والرموز في هذا الدرس
SGD
الانحدار الاشتقاقي باستخدام دفعات عشوائية صغيرة
minibatch
قطعة عشوائية صغيرة من البيانات المستخدمة لخطوة واحدة
دورك

اكتب sgd(X, y, lr, batch, epochs, seed) للانحدار الخطي (الخسارة: mean squared error)، مع خلط البيانات في كل epoch، وإرجاع (w, losses) حيث losses هي خسارة البيانات الكاملة بعد كل epoch. باستخدام batch 32 و lr 0.05 و 10 epochs يجب أن تنتهي القيمة تحت 0.02.

هل لاحظت مشكلة في هذا الدرس؟ أبلغ عنها · اسأل عن هذا الدرس

سيفتح هذا التمرين قريبا

أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.