الانتشار العكسي عبر الزمن هو انتشار عكسي عادي
لماذا هذا مهم "الانتشار العكسي عبر الزمن" يبدو كأنه خوارزمية جديدة. هو ليس كذلك: قم بفك حلقة التكرار وسيكون انتشارا عكسيا على شبكة عميقة تشترك طبقاتها في مجموعة واحدة من الأوزان.
شاهده
قم بتشغيل الرسوم المتحركة. ثلاث خطوات من RNN، مرسومة جنبا إلى جنب، هي ثلاث طبقات. يظهر الوزن w نفسه في كل منها. في الاتجاه العكسي، يجمع التدرج لـ w مساهمة واحدة من كل نسخة، تماما مثل عقدة مستخدمة عدة مرات في محرك Module 4 الخاص بك.
أرقام صغيرة
A شبكة RNN خطية ذات رقم واحد: h_t = w h_(t-1) + x_t، تبدأ عند h_0 = 0، مع loss = h_3. المدخلات 1، 2، 3 و w = 0.5: h1 = 1، h2 = 2.5، h3 = 4.25. dL/dh3 = 1. بالعودة للخلف، dL/dh2 = w = 0.5 و dL/dh1 = w squared = 0.25. كل نسخة من w تساهم (التدرج عند مخرجها) مضروبا في (الـ h التي ضربتها): 1 ضرب h2 + 0.5 ضرب h1 + 0.25 ضرب h0 = 2.5 + 0.5 + 0 = 3.0.
BPTT: الانتشار العكسي عبر الزمن؛ قم بفك خطوات العملية وقم بالانتشار العكسي، مع جمع التدرج من كل خطوة تشترك في وزن واحد.
الكلمات والرموز في هذا الدرس
- شبكة متكررة (RNN)
- شبكة تقرأ خطوة واحدة في كل مرة وتحمل حالة مخفية للأمام
- الانتشار العكسي عبر الزمن (BPTT) قم بفك خطوات
- وقم بإجراء backpropagate، مع إضافة gradient من كل خطوة تشترك في weight
بالنسبة لشبكة RNN ذات الرقم الواحد h_t = w * h_(t-1) + x_t مع h_0 = 0 وخسارة h_T (الحالة الأخيرة)، اكتب bptt(xs, w) التي تعيد dL/dw عن طريق العودة إلى الوراء عبر الخطوات.
سيفتح هذا التمرين قريبا
أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.
يقوم هذا المتصفح بحظر ملفات تعريف الارتباط لـ learn.floati.life، لذا لا يمكن فتح الدروس التي أنهيتها هنا بالترتيب. اسمح بملفات تعريف الارتباط لهذا الموقع وأعد التحميل.