النزول نحو الأسفل (gradient descent يدويا)
لماذا هذا مهم اختيار الأوزان يدويا لا يصلح لمليون وزن. يخبر التدرج كل وزن بالاتجاه نحو الأسفل في وقت واحد.
سمِّهِ بالاسم
بالنسبة للخسارة L = mean((X @ w + b - y) squared)، قم بتعديل w1 وستتغير L بمقدار 2 * mean(error * x1)، حيث الخطأ هو التنبؤ ناقص الحقيقة. هذا هو مشتق L بالنسبة لـ w1. كل شيء دفعة واحدة: grad_w = 2 * X.T @ error / n، و grad_b = 2 * mean(error).
اقرأها بكلمات بسيطة
إذا كانت التوقعات مرتفعة جدا (خطأ إيجابي) في المنازل ذات المساحة الكبيرة، فإن خفض w1 يساعد، وتدرج w1 موجب، لذا نقوم بطرحه. كل خطوة: w = w - lr * grad_w، حيث lr، معدل التعلم، يحدد حجم الخطوة.
Gradient descent: كرر "احسب gradient، وخذ خطوة صغيرة عكسه". Learning rate: حجم كل خطوة.
توقّع المنحنى
قبل تشغيل تدريبك، خمن قيمة loss عند الخطوات 0، 10، 50 و 200 في my_guess. يقوم الكود بطباعة تخمينك بجانب القيمة الحقيقية.
ملخص التدرج، خطوة ضده، تكرار.
الكلمات والرموز في هذا الدرس
- الأوزان (w, W)، الانحياز (b)
- الأرقام التي يتعلمها العصبون؛ يغير bias مخرجاته
- معدل التعلم (lr)
- ما هو حجم كل خطوة تدريب
اكتب gradients(X, y, w, b) الذي يعيد (grad_w, grad_b)، و train(X, y, lr, steps) الذي يبدأ من الأصفار ويعيد (w, b, losses)، حيث يحمل losses قيمة الخسارة قبل كل خطوة. املأ my_guess أولاً. يجب أن تنتهي الخسارة المدربة تحت 0.01 مع lr 0.5 و 201 خطوة التي يطلبها starter.
سيفتح هذا التمرين قريبا
أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.
يقوم هذا المتصفح بحظر ملفات تعريف الارتباط لـ learn.floati.life، لذا لا يمكن فتح الدروس التي أنهيتها هنا بالترتيب. اسمح بملفات تعريف الارتباط لهذا الموقع وأعد التحميل.