المنهج الدراسي الدرس 143 من 246 · الوحدة 13: الانتباه والتحويلات
الوحدة 13: الانتباه والتحويلات

الانتباه يحل مشكلة عنق الزجاجة

لماذا هذا مهم تم اختراع Attention في عام 2014 لحل المشكلة التي قمت بقياسها بالضبط في Module 11 وهي قيام encoder بضغط جملة كاملة في متجه واحد.

في تجربة seq2seq-bottleneck المسجلة، يقوم decoder الخاص بنموذج attention، في كل خطوة، بالتركيز على جميع hidden states الخاصة بـ encoder (يكون query الخاص به هو حالة decoder نفسه). لم يعد يعتمد على متجه نهائي واحد؛ يمكنه النظر مباشرة إلى الرقم الذي يحتاجه.

توقّع: عند طول 16، حيث حصل النموذج البسيط على حوالي 59% من الأرقام بشكل صحيح، ماذا يحصل عليه نموذج attention؟

الكلمات والرموز في هذا الدرس
query, key, value
ما الذي يبحث عنه الموقع؛ ما الذي يقدمه كل موقع للمطابقة؛ ما الذي يسلمه
انتباه
softmax لدرجات query-key، وتستخدم لمتوسط القيم
دورك

اضبط my_guess على رقم بين 0 و 1: تخمينك لدقة أرقام نموذج الانتباه عند الطول 16. املأ acc: (model, length) بمتوسط دقة الأرقام للبذرتين، لكلا النموذجين وجميع الأطوال الأربعة، و gain_at_16.

هل لاحظت مشكلة في هذا الدرس؟ أبلغ عنها · اسأل عن هذا الدرس

سيفتح هذا التمرين قريبا

أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.