المنهج الدراسي الدرس 132 من 246 · الوحدة 11: الشبكات ذات الذاكرة (RNNs)
الوحدة 11: الشبكات ذات الذاكرة (RNNs)

واحد يقرأ، وواحد يكتب: عنق الزجاجة

لماذا هذا مهم كانت الترجمة تعمل بهذا الشكل: تقوم RNN واحدة بقراءة الجملة في متجه واحد، وتقوم أخرى بكتابة المخرجات منه. ذلك المتجه الواحد يمثل عنق زجاجة، ورؤية فشله هو السبب في اختراع attention.

An encoder-decoder: يقرأ الـ RNN الخاص بالـ encoder المدخلات؛ ثم يتم تمرير حالته المخفية النهائية إلى الـ RNN الخاص بالـ decoder، والذي يكتب المخرجات رمزاً تلو الآخر، مع إعادة تغذية كل إجابة فيه. كل ما يعرفه الـ decoder عن المدخلات يجب أن يمر عبر ذلك المتجه الواحد المكون من 48 رقماً.

درّبت التجربة المسجلة seq2seq-bottleneck مثل هذه الشبكات لكتابة تسلسل من الأرقام بشكل عكسي، لأطوال 4 و8 و12 و16، وببذرتين لكل منها. كما درّبت نسخة مع attention، والتي ستقابلها في Module 13. حاليا، انظر فقط إلى النسخ البسيطة.

توقّع المنحنى: توقع دقة الرقم للنموذج البسيط عند الطول 16. الاحتمال هو 10%.

الكلمات والرموز في هذا الدرس
شبكة متكررة (RNN)
شبكة تقرأ خطوة واحدة في كل مرة وتحمل حالة مخفية للأمام
encoder-decoder
تقوم
one RNN بقراءة المدخلات في vector، وتقوم أخرى بكتابة المخرجات منها
bottleneck
المتجه الوحيد الذي يجب على كل شيء المرور من خلاله
دورك

اضبط my_guess_16، ثم املأ plain_acc: الطول إلى متوسط دقة الأرقام للتشغيلين العاديين.

هل لاحظت مشكلة في هذا الدرس؟ أبلغ عنها · اسأل عن هذا الدرس

سيفتح هذا التمرين قريبا

أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.