أسطح الخسارة التي يمكنك السير عليها
لماذا هذا مهم كل optimiser هو طريقة مختلفة للنزول نحو الأسفل في منظر طبيعي لا يمكنك رؤيته. ابدأ بالمشي في واحد بسيط أولا.
تخيل الخسارة كمنظر طبيعي: الوزنان هما موقعك على الخريطة، والخسارة هي الارتفاع. التدريب هو المشي نحو الأسفل. يشير التدرج نحو الأعلى، لذا كل خطوة تذهب في الاتجاه المعاكس: position = position - lr * gradient.
أرقام صغيرة
في الوعاء f(x, y) = x squared + y squared، التدرج عند (3, 4) هو (6, 8). مع lr 0.1، الخطوة تذهب إلى (3 - 0.6, 4 - 0.8) = (2.4, 3.2). كل خطوة تحتفظ بـ 80% من المسافة إلى القاع، لذا بعد 20 خطوة تكون عند حوالي 1% من حيث بدأت.
معدل التعلم: المسافة التي يتم التحرك فيها بالنسبة للتدرج. إذا كان صغيراً جداً فإنه يتقدم ببطء شديد، وإذا كان كبيراً جداً فإنه يتجاوز الهدف.
ملخص خطوة ضد التدرج؛ معدل التعلم يحدد طول الخطوة.
اكتب descend(grad, start, lr, steps) التي تعيد قائمة المواقع التي تمت زيارتها (بما في ذلك نقطة البداية) كمصفوفات NumPy. ثم اختر my_lr بحيث، على الوعاء من الدرس، بدءا من (3, 4)، تكون ضمن مسافة 0.01 من القاع في 15 خطوة كحد أقصى.
سيفتح هذا التمرين قريبا
أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.
يقوم هذا المتصفح بحظر ملفات تعريف الارتباط لـ learn.floati.life، لذا لا يمكن فتح الدروس التي أنهيتها هنا بالترتيب. اسمح بملفات تعريف الارتباط لهذا الموقع وأعد التحميل.