من يتذكر؟ عمليات التشغيل المسجلة
لماذا هذا مهم يقول الكتاب الدراسي إن LSTMs تتذكر و RNNs العادية تنسى. اختبرت الدورة ذلك، والإجابة الحقيقية تحتوي على تفصيل يستحق معرفته قبل أن تقوم بتدريب أي منها.
التجربة المسجلة rnn-vs-lstm-memory: ترى الشبكة أحد أربعة رموز، ثم فجوة من 5 أو 15 أو 30 أو 60 رمزاً إضافياً مستخرجة من نفس الأبجدية، ويجب عليها قول ما كان الرمز الأول. ثلاثة أنواع من الشبكة، وثلاثة بذور لكل منها:
- شبكة RNN بسيطة من نوع tanh;
- an LSTM تبدأ بوابة النسيان فيها بانحياز 1 (تحتفظ بنحو 73% من الخلية في كل خطوة في البداية);
- an LSTM تبدأ بوابة النسيان فيها بـ bias 3 (حوالي 95%).
قبل أن تقرأ النتائج، توقع: أي نوع ينجح في جميع البذور الثلاثة عند فجوة قدرها 60؟
الكلمات والرموز في هذا الدرس
- شبكة متكررة (RNN)
- شبكة تقرأ خطوة واحدة في كل مرة وتحمل حالة مخفية للأمام
- LSTM
- شبكة RNN مع خلية ذاكرة c وثلاث بوابات: forget، وinput، وoutput
اضبط my_prediction على "rnn" أو "lstm-forget-bias-1" أو "lstm-forget-bias-3". ثم املأ successes: (cell, gap) إلى عدد البذور الثلاث التي بلغت دقة اختبار 95% على الأقل، باستخدام nnsim.recorded.
سيفتح هذا التمرين قريبا
أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.
يقوم هذا المتصفح بحظر ملفات تعريف الارتباط لـ learn.floati.life، لذا لا يمكن فتح الدروس التي أنهيتها هنا بالترتيب. اسمح بملفات تعريف الارتباط لهذا الموقع وأعد التحميل.