المنهج الدراسي الدرس 65 من 246 · الوحدة 5: التحسين
الوحدة 5: التحسين

لماذا يكون الـ stretched bowl بطيئاً (conditioning)

لماذا هذا مهم تتميز تضاريس الخسارة الحقيقية بكونها شديدة الانحدار في اتجاهات معينة ومسطحة تقريبًا في اتجاهات أخرى. هذا عدم التطابق، وليس عدد الأوزان، هو ما يجعل gradient descent العادي بطيئًا.

شاهده

خذ f = (k x squared + y squared) / 2. عندما تكون k = 1 فهي وعاء مستدير. عندما تكون k = 100 فهي واد طويل ونحيف: منحدر عرضا، ولطيف طولا. يجب أن يناسب معدل التعلم كلا الاتجاهين في وقت واحد. الخيار الفردي الأفضل، lr = 2 / (k + 1)، يجعل كل خطوة تحتفظ بـ (k - 1) / (k + 1) من المسافة في كلا الاتجاهين: 0.98 منها عندما تكون k = 100. أي قيمة أكبر وتتجاوز الاتجاه المنحدر وتستقر ببطء أكثر (فوق 2 / k تنمو بلا حدود)؛ وأي قيمة أصغر والاتجاه اللطيف يزحف ببطء أكثر. لذا فإن المسار يتعرج عرضا عبر الوادي بينما يزحف طولا فيه.

رقم الحالة: نسبة الانحناء الأكثر حدة إلى الانحناء الأقل حدة، هنا k. يحتاج التدرج البسيط تقريبًا إلى k من الخطوات لتحقيق تقدم جيد.

توقّع المنحنى: قبل التشغيل، توقع عدد الخطوات اللازمة للوصول إلى مسافة 0.001 من القاع لكل قيمة k = 1 و 10 و 100، باستخدام أفضل معدل تعلم ثابت، 2 / (k + 1).

ملخص التمدد يبطئ الهبوط البسيط بنسبة تتناسب مع التمدد.

الكلمات والرموز في هذا الدرس
رقم الحالة
كم هو أكثر انحداراً الاتجاه الأكثر انحداراً مقارنة بالاتجاه الأقل انحداراً
دورك

املأ my_guess (ثلاثة أعداد لخطوات العد)، ثم اكتب steps_to_converge(k): ابدأ عند (1, 1)، واستخدم lr = 2 / (k + 1)، وعد الخطوات حتى تصبح المسافة إلى (0, 0) أقل من 0.001 (توقف عند 100,000).

هل لاحظت مشكلة في هذا الدرس؟ أبلغ عنها · اسأل عن هذا الدرس

سيفتح هذا التمرين قريبا

أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.