الانتشار العكسي وفحص التدرج
لقد دربت نموذجاً بسيطاً عن طريق دفع الأوزان نحو الأسفل. ولكن من أين تأتي الاشتقاقات، وكيف تعرف أنها صحيحة؟ يجيب هذا الدرس على كليهما، والإجابة الثانية، gradient checking، هي العادة الوحيدة التي تميز الشبكات العصبية التي تعمل عن تلك المعطلة بصمت.
Backprop هي مجرد قاعدة السلسلة. خذ مثالا واحدا عبر نموذج صغير: توقع z = w * x، ثم قس الخطأ التربيعي L = (z - y)**2. لتحسين w تحتاج إلى dL/dw. احسبها في خطوتين وقم بالضرب:
dL/dz = 2 * (z - y) # how loss moves with the prediction
dz/dw = x # how the prediction moves with w
dL/dw = dL/dz * dz/dw = 2 * (z - y) * xهذا المنتج هو backpropagation، ولكن بنسخة مصغرة: كل layer تضرب الـ gradient المتدفق للخلف بالـ local derivative الخاص بها. قم بتكديس مليون من هذه الطبقات وستحصل على deep network.
الآن، هل صيغتك صحيحة؟ تحقق منها عددياً. تعريف المشتق هو دفعة صغيرة، لذا قدرها باستخدام central finite difference وتحقق من أن analytic gradient متطابق:
numeric = (L(w + h) - L(w - h)) / (2 * h) # h tiny, e.g. 1e-5
assert abs(analytic - numeric) < 1e-6 # they should agree to many digitsإذا اختلفا، فهناك خطأ في الـ backward pass الخاص بك، كل قاعدة بيانات DL جادة تقوم بعمل gradient-checks لهذا السبب تحديداً.
قم ببناء دالتين. loss(w, x, y) تعيد (w*x - y)**2. grad(w, x, y) تعيد التدرج التحليلي dL/dw = 2*(w*x - y)*x. ستتحقق الاختبارات المخفية من grad عبر فحص التدرج مقابل فرق محدود لـ loss الخاص بك عبر نقاط عشوائية عديدة، لذا لا يمكن للصيغة الخاطئة أن تنجح. اضغط Run لرؤية تطابق القيم التحليلية مقابل القيم العددية.
اكتب loss(w, x, y) الذي يعيد الخطأ التربيعي (w*x - y)**2، و grad(w, x, y) الذي يعيد تدرجه التحليلي بالنسبة لـ w، والذي هو حسب قاعدة السلسلة 2*(w*x - y)*x. سيتم التحقق من grad الخاص بك عبر فحص التدرج مقابل فرق مركزي محدود لـ loss الخاص بك عند نقاط عشوائية عديدة، لذا يجب أن يكون المشتق الحقيقي، وليس تقديرا أو ثابتا.
سيفتح هذا التمرين قريبا
أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.
يقوم هذا المتصفح بحظر ملفات تعريف الارتباط لـ learn.floati.life، لذا لا يمكن فتح الدروس التي أنهيتها هنا بالترتيب. اسمح بملفات تعريف الارتباط لهذا الموقع وأعد التحميل.