الانتباه يحل مشكلة عنق الزجاجة
لماذا هذا مهم تم اختراع Attention في عام 2014 لحل المشكلة التي قمت بقياسها بالضبط في Module 11 وهي قيام encoder بضغط جملة كاملة في متجه واحد.
في تجربة seq2seq-bottleneck المسجلة، يقوم decoder الخاص بنموذج attention، في كل خطوة، بالتركيز على جميع hidden states الخاصة بـ encoder (يكون query الخاص به هو حالة decoder نفسه). لم يعد يعتمد على متجه نهائي واحد؛ يمكنه النظر مباشرة إلى الرقم الذي يحتاجه.
توقّع: عند طول 16، حيث حصل النموذج البسيط على حوالي 59% من الأرقام بشكل صحيح، ماذا يحصل عليه نموذج attention؟
الكلمات والرموز في هذا الدرس
- query, key, value
- ما الذي يبحث عنه الموقع؛ ما الذي يقدمه كل موقع للمطابقة؛ ما الذي يسلمه
- انتباه
- softmax لدرجات query-key، وتستخدم لمتوسط القيم
اضبط my_guess على رقم بين 0 و 1: تخمينك لدقة أرقام نموذج الانتباه عند الطول 16. املأ acc: (model, length) بمتوسط دقة الأرقام للبذرتين، لكلا النموذجين وجميع الأطوال الأربعة، و gain_at_16.
سيفتح هذا التمرين قريبا
أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.
يقوم هذا المتصفح بحظر ملفات تعريف الارتباط لـ learn.floati.life، لذا لا يمكن فتح الدروس التي أنهيتها هنا بالترتيب. اسمح بملفات تعريف الارتباط لهذا الموقع وأعد التحميل.