المنهج الدراسي الدرس 105 من 250 · حدس الشبكات العصبية، والنماذج اللغوية الكبيرة، ومشروع التخرج في الذكاء الاصطناعي
حدس الشبكات العصبية، والنماذج اللغوية الكبيرة، ومشروع التخرج في الذكاء الاصطناعي

بناء محرك Autograd

لقد قمت بحساب تدرج واحد يدويا وفحصته. تحتوي الشبكات الحقيقية على ملايين المعاملات، لذا لا يمكنك اشتقاق كل واحد منها يدويا. الحيلة التي تجعل التعلم العميق ممكنا هي التفاضل التلقائي: كل قيمة تتذكر كيف تم حسابها، وتتدفق التدرجات للخلف عبر ذلك السجل تلقائيا. أنت على وشك بناء المحرك، وهي نفس الفكرة الموجودة داخل PyTorch و micrograd الخاص بـ Karpathy، في بضعة أسطر.

الوحدة هي Value: رقم يخزن أيضاً تدرجه ودالة صغيرة تعرف كيفية دفع التدرج إلى مدخلاته. عندما تضيف أو تضرب اثنين من Values، يسجل الناتج آباءه. يوفر الهيكل أدناه __init__ و backward() الذي يسير في الرسم البياني بالترتيب الصحيح (ترتيب طوبولوجي، ثم قاعدة السلسلة من المخرج إلى الخلف). أنت تنفذ التدرجين المحليين ، وهو الدرس بأكمله:

def __add__(self, other):
    out = Value(self.data + other.data, (self, other))
    def _backward():
        self.grad  += out.grad      # d(a+b)/da = 1
        other.grad += out.grad      # d(a+b)/db = 1
    out._backward = _backward
    return out

عملية الجمع تقوم فقط بنسخ التدرج الوارد إلى كلا المدخلين. عملية الضرب هي المكان الذي تظهر فيه قاعدة السلسلة: d(a*b)/da = b و d(a*b)/db = a، كل منهما يضرب في التدرج المتدفق من الأعلى (out.grad). لاحظ +=، وليس =: القيمة المستخدمة في عدة أماكن تراكم التدرج من كل منها.

أكمل

و __add__ و __mul__ بحيث تقوم إغلاقات _backward الخاصة بها بضبط التدرجات المحلية الصحيحة. تقوم الاختبارات المخفية ببناء التعبيرات، واستدعاء .backward()، و gradient-check لكل نتيجة مقابل finite difference، لذا لا يمكن للقاعدة الخاطئة أن تنجح. اضغط Run للقيام بـ backprop عبر a*b + a.

دورك

أكمل __add__ و __mul__ في فئة Value ليكون backprop صحيحا. في _backward داخل __add__، أضف out.grad إلى كل من self.grad و other.grad (المشتق المحلي 1). في _backward داخل __mul__، أضف other.data * out.grad إلى self.grad و self.data * out.grad إلى other.grad (قاعدة الضرب). استخدم += لكي تتراكم القيم المعاد استخدامها في gradient. تتعامل backward() المعطاة مع الترتيب.

هل لاحظت مشكلة في هذا الدرس؟ أبلغ عنها · اسأل عن هذا الدرس

سيفتح هذا التمرين قريبا

أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.