الانتشار العكسي لشبكة ذات طبقتين، يدويا
لماذا هذا مهم هذا الدرس هو كل عملية backpropagation لشبكة حقيقية. بعده، لا يوجد شيء في مكتبة deep learning سحري.
شاهده أولا
قم بتشغيل الرسوم المتحركة. يبدأ الخطأ عند المخرجات كـ (softmax ناقص one-hot). يتدفق الخطأ للخلف عبر الطبقة الثانية، ويتوقف حيث كانت ReLU مغلقة، ثم يتدفق عبر الطبقة الأولى، ويترك تدرجاً على كل وزن.
المرور الأمامي
H_pre = X @ W1 + b1 # (n, hidden)
H = relu(H_pre)
Z = H @ W2 + b2 # (n, classes)
loss = cross_entropy(softmax(Z), y)
التمرير الخلفي، عن طريق مطابقة الأشكال
الحيلة التي تجعل هذا الأمر سهلا هي أن كل gradient له نفس شكل الشيء الذي ينتمي إليه. إذا كنت تعرف الأشكال، فعادة ما توجد طريقة واحدة فقط لضرب القطع بشكل مناسب. الخطوتان الأوليتان، تم تنفيذهما:
dZ = (softmax(Z) - onehot) / n # (n, classes) from last lesson
dW2 = H.T @ dZ # (hidden, classes): same shape as W2.
# H is (n, hidden) and dZ is (n, classes):
# only H.T @ dZ fits.
الباقي لك. استنتج كل واحد منها من الأشكال التي يجب أن تكون عليها:
db2: shape (classes,). تمت إضافة كل bias إلى كل row.dH: shape (n, hidden)، وهو نفس H. يأتي من dZ و W2.dH_pre: الشكل (n, hidden). قامت ReLU بتمرير مدخلاتها حيث كانت مفعلة وحجبتها في الأماكن الأخرى.dW1وdb1: الخطوتان نفسهما كما في W2 و b2، في طبقة واحدة أسفل.
خلاصة التراجع هو التقدم بشكل عكسي، مع الضرب في الميل المحلي لكل خطوة، مع استخدام الأشكال كدليل لك.
الكلمات والرموز في هذا الدرس
- الأوزان (w, W)، الانحياز (b)
- الأرقام التي يتعلمها العصبون؛ يغير الـ bias مخرجاته
- ReLU
- max(0, z): يحتفظ بالقيم الموجبة، ويحول القيم السالبة إلى أصفار
- one-hot
- أصفار مع رقم 1 واحد في الفئة الحقيقية
- backpropagation
- تُنفذ قاعدة السلسلة بشكل عكسي للحصول على تدرج كل وزن
اكتب forward_backward(X, y, W1, b1, W2, b2) الذي يعيد (loss, grads) حيث grads هو dictionary بمفاتيح W1, b1, W2, b2. يختبر الاختبار المخفي كل gradient مقابل nudge.
سيفتح هذا التمرين قريبا
أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.
يقوم هذا المتصفح بحظر ملفات تعريف الارتباط لـ learn.floati.life، لذا لا يمكن فتح الدروس التي أنهيتها هنا بالترتيب. اسمح بملفات تعريف الارتباط لهذا الموقع وأعد التحميل.