المنهج الدراسي الدرس 48 من 246 · الوحدة 3: من Neuron إلى MLP
الوحدة 3: من Neuron إلى MLP

الانتشار العكسي لشبكة ذات طبقتين، يدويا

لماذا هذا مهم هذا الدرس هو كل عملية backpropagation لشبكة حقيقية. بعده، لا يوجد شيء في مكتبة deep learning سحري.

شاهده أولا

قم بتشغيل الرسوم المتحركة. يبدأ الخطأ عند المخرجات كـ (softmax ناقص one-hot). يتدفق الخطأ للخلف عبر الطبقة الثانية، ويتوقف حيث كانت ReLU مغلقة، ثم يتدفق عبر الطبقة الأولى، ويترك تدرجاً على كل وزن.

المرور الأمامي

H_pre = X @ W1 + b1      # (n, hidden)
H     = relu(H_pre)
Z     = H @ W2 + b2      # (n, classes)
loss  = cross_entropy(softmax(Z), y)

التمرير الخلفي، عن طريق مطابقة الأشكال

الحيلة التي تجعل هذا الأمر سهلا هي أن كل gradient له نفس شكل الشيء الذي ينتمي إليه. إذا كنت تعرف الأشكال، فعادة ما توجد طريقة واحدة فقط لضرب القطع بشكل مناسب. الخطوتان الأوليتان، تم تنفيذهما:

dZ  = (softmax(Z) - onehot) / n     # (n, classes)  from last lesson
dW2 = H.T @ dZ                      # (hidden, classes): same shape as W2.
                                    # H is (n, hidden) and dZ is (n, classes):
                                    # only H.T @ dZ fits.

الباقي لك. استنتج كل واحد منها من الأشكال التي يجب أن تكون عليها:

  • db2: shape (classes,). تمت إضافة كل bias إلى كل row.
  • dH: shape (n, hidden)، وهو نفس H. يأتي من dZ و W2.
  • dH_pre: الشكل (n, hidden). قامت ReLU بتمرير مدخلاتها حيث كانت مفعلة وحجبتها في الأماكن الأخرى.
  • dW1 و db1: الخطوتان نفسهما كما في W2 و b2، في طبقة واحدة أسفل.

خلاصة التراجع هو التقدم بشكل عكسي، مع الضرب في الميل المحلي لكل خطوة، مع استخدام الأشكال كدليل لك.

الكلمات والرموز في هذا الدرس
الأوزان (w, W)، الانحياز (b)
الأرقام التي يتعلمها العصبون؛ يغير الـ bias مخرجاته
ReLU
max(0, z): يحتفظ بالقيم الموجبة، ويحول القيم السالبة إلى أصفار
one-hot
أصفار مع رقم 1 واحد في الفئة الحقيقية
backpropagation
تُنفذ قاعدة السلسلة بشكل عكسي للحصول على تدرج كل وزن
دورك

اكتب forward_backward(X, y, W1, b1, W2, b2) الذي يعيد (loss, grads) حيث grads هو dictionary بمفاتيح W1, b1, W2, b2. يختبر الاختبار المخفي كل gradient مقابل nudge.

هل لاحظت مشكلة في هذا الدرس؟ أبلغ عنها · اسأل عن هذا الدرس

سيفتح هذا التمرين قريبا

أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.