المنهج الدراسي الدرس 130 من 246 · الوحدة 11: الشبكات ذات الذاكرة (RNNs)
الوحدة 11: الشبكات ذات الذاكرة (RNNs)

من يتذكر؟ عمليات التشغيل المسجلة

لماذا هذا مهم يقول الكتاب الدراسي إن LSTMs تتذكر و RNNs العادية تنسى. اختبرت الدورة ذلك، والإجابة الحقيقية تحتوي على تفصيل يستحق معرفته قبل أن تقوم بتدريب أي منها.

التجربة المسجلة rnn-vs-lstm-memory: ترى الشبكة أحد أربعة رموز، ثم فجوة من 5 أو 15 أو 30 أو 60 رمزاً إضافياً مستخرجة من نفس الأبجدية، ويجب عليها قول ما كان الرمز الأول. ثلاثة أنواع من الشبكة، وثلاثة بذور لكل منها:

  • شبكة RNN بسيطة من نوع tanh;
  • an LSTM تبدأ بوابة النسيان فيها بانحياز 1 (تحتفظ بنحو 73% من الخلية في كل خطوة في البداية);
  • an LSTM تبدأ بوابة النسيان فيها بـ bias 3 (حوالي 95%).

قبل أن تقرأ النتائج، توقع: أي نوع ينجح في جميع البذور الثلاثة عند فجوة قدرها 60؟

الكلمات والرموز في هذا الدرس
شبكة متكررة (RNN)
شبكة تقرأ خطوة واحدة في كل مرة وتحمل حالة مخفية للأمام
LSTM
شبكة RNN مع خلية ذاكرة c وثلاث بوابات: forget، وinput، وoutput
دورك

اضبط my_prediction على "rnn" أو "lstm-forget-bias-1" أو "lstm-forget-bias-3". ثم املأ successes: (cell, gap) إلى عدد البذور الثلاث التي بلغت دقة اختبار 95% على الأقل، باستخدام nnsim.recorded.

هل لاحظت مشكلة في هذا الدرس؟ أبلغ عنها · اسأل عن هذا الدرس

سيفتح هذا التمرين قريبا

أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.