واحد يقرأ، وواحد يكتب: عنق الزجاجة
لماذا هذا مهم كانت الترجمة تعمل بهذا الشكل: تقوم RNN واحدة بقراءة الجملة في متجه واحد، وتقوم أخرى بكتابة المخرجات منه. ذلك المتجه الواحد يمثل عنق زجاجة، ورؤية فشله هو السبب في اختراع attention.
An encoder-decoder: يقرأ الـ RNN الخاص بالـ encoder المدخلات؛ ثم يتم تمرير حالته المخفية النهائية إلى الـ RNN الخاص بالـ decoder، والذي يكتب المخرجات رمزاً تلو الآخر، مع إعادة تغذية كل إجابة فيه. كل ما يعرفه الـ decoder عن المدخلات يجب أن يمر عبر ذلك المتجه الواحد المكون من 48 رقماً.
درّبت التجربة المسجلة seq2seq-bottleneck مثل هذه الشبكات لكتابة تسلسل من الأرقام بشكل عكسي، لأطوال 4 و8 و12 و16، وببذرتين لكل منها. كما درّبت نسخة مع attention، والتي ستقابلها في Module 13. حاليا، انظر فقط إلى النسخ البسيطة.
توقّع المنحنى: توقع دقة الرقم للنموذج البسيط عند الطول 16. الاحتمال هو 10%.
الكلمات والرموز في هذا الدرس
- شبكة متكررة (RNN)
- شبكة تقرأ خطوة واحدة في كل مرة وتحمل حالة مخفية للأمام
- encoder-decoder تقوم
- one RNN بقراءة المدخلات في vector، وتقوم أخرى بكتابة المخرجات منها
- bottleneck
- المتجه الوحيد الذي يجب على كل شيء المرور من خلاله
اضبط my_guess_16، ثم املأ plain_acc: الطول إلى متوسط دقة الأرقام للتشغيلين العاديين.
سيفتح هذا التمرين قريبا
أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.
يقوم هذا المتصفح بحظر ملفات تعريف الارتباط لـ learn.floati.life، لذا لا يمكن فتح الدروس التي أنهيتها هنا بالترتيب. اسمح بملفات تعريف الارتباط لهذا الموقع وأعد التحميل.