المنهج الدراسي الدرس 101 من 250 · حدس الشبكات العصبية، والنماذج اللغوية الكبيرة، ومشروع التخرج في الذكاء الاصطناعي
حدس الشبكات العصبية، والنماذج اللغوية الكبيرة، ومشروع التخرج في الذكاء الاصطناعي

كيفية تعلم النماذج

الشبكة

A الجديدة لها أوزان عشوائية وهي غير مفيدة. عملية Training هي عملية دفع تلك الأوزان حتى تصبح المخرجات جيدة. فكرتان تقودانها.

1. تقيس دالة الخسارة

تحتاج إلى رقم واحد يوضح مدى سوء التوقعات. بالنسبة لـ regression، الخيار الأساسي هو mean squared error (MSE): احسب متوسط الفروق المربعة بين الحقيقة والتوقع.

def mse(y_true, y_pred):
    diffs = np.asarray(y_true) - np.asarray(y_pred)
    return float(np.mean(diffs ** 2))

تعاقب دالة Squaring الأخطاء الكبيرة بشكل أقوى وتحافظ على كل القيم موجبة. كلما انخفضت قيمة loss كان ذلك أفضل؛ وتعني قيمة loss تساوي صفر ملاءمة مثالية.

2. ينحدر Gradient descent نحو الأسفل

تخيل الخسارة كسطح تلي ومجموعة الأوزان كموقعك عليه. gradient هو المنحدر: إنه يشير نحو الأعلى، باتجاه خسارة أكبر. لذا لتقليل الخسارة، تأخذ خطوة صغيرة في الاتجاه opposite.

w = w - learning_rate * gradient

معدل learning rate هو حجم الخطوة. كرر هذا آلاف المرات وستنحدر الأوزان نحو وادي خسارة منخفض. تلك الحلقة هي كل ما يمثله التدريب.

بالنسبة لنموذج تجريبي y = w * x مع MSE، فإن تدرج الخسارة بالنسبة لـ w يساوي mean(2 * (w*x - y) * x). ستأخذ خطوة واحدة بالضبط وستلاحظ انخفاض الخسارة.

من وزن واحد إلى شبكة كاملة

تحتوي الشبكة ذات الطبقتين التي بنيتها في الدرس السابق على أوزان كثيرة، وليس وزنا واحدا. يعني تدريبها إيجاد تدرج الخسارة بالنسبة لكل وزن كل، طبقة تلو الأخرى. هذا هو backpropagation: ابدأ من الخسارة وطبق قاعدة السلسلة عكسيا عبر كل طبقة للحصول على ميل كل وزن، ثم اتخذ نفس الخطوة نحو الأسفل عليها جميعا في وقت واحد. الحسابات أثقل، لكن الفكرة مطابقة للخطوة الواحدة التي تتخذها أدناه. في الكود الحقيقي لا تقوم باشتقاقها يدويا أبدا: تقوم أطر العمل مثل PyTorch بتسجيل التمريرة الأمامية وقيام استدعاء loss.backward() واحد بحساب كل تدرج لك. نحن نقوم بنسخة الوزن الواحد هنا لتبقى الآلية ملموسة.

دورك

قم بتنفيذ mse(y_true, y_pred) (متوسط مربعات الفروق). بعد ذلك، بالنسبة للنموذج التجريبي y = w * x، احسب loss_before، وقم بخطوة واحدة من gradient-descent باستخدام grad = np.mean(2 * (w*x - y) * x) و w = w - lr * grad، ثم احسب loss_after. يجب أن ينخفض الـ loss.

هل لاحظت مشكلة في هذا الدرس؟ أبلغ عنها · اسأل عن هذا الدرس

سيفتح هذا التمرين قريبا

أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.