المنهج الدراسي الدرس 147 من 246 · الوحدة 13: الانتباه والتحويلات
الوحدة 13: الانتباه والتحويلات

رؤوس كثيرة، تكلفة واحدة

لماذا هذا مهم نمط انتباه واحد لكل طبقة هو أمر محدود: قد يرغب الموقع في النظر إلى الحرف السابق وفي نفس الوقت إلى بداية الكلمة. يقوم Multi-head attention بتشغيل عدة انتباهات أصغر جنبا إلى جنب.

شاهده

شغّل الرسم المتحرك. قسّم أعمدة Q وK وV البالغة d إلى H مجموعة بحجم d / H. كل مجموعة (رأس (head)) تقوم بانتباهها الخاص بنمطها الخاص. ألصق مخرجات H جنباً إلى جنب في d عموداً، ثم امزجها بمصفوفة إضافية Wo.

التكلفة: نفس المصفوفات كأنها رأس واحد كبير، لكنها مقسمة إلى أجزاء فقط، لذا لا يتغير عدد المعاملات. كل رأس أضيق، لذا يتم القسمة على الجذر التربيعي لـ d / H.

الكلمات والرموز في هذا الدرس
انتباه
softmax لدرجات query-key، وتستخدم لمتوسط القيم
head
واحد من H انتباهاً أضيق تعمل جنباً إلى جنب، لكل منها نمطه
دورك

اكتب multi_head(X, Wq, Wk, Wv, Wo, H) (بدون قناع)، مع إرجاع المخرجات وقائمة من مصفوفات H attention.

هل لاحظت مشكلة في هذا الدرس؟ أبلغ عنها · اسأل عن هذا الدرس

سيفتح هذا التمرين قريبا

أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.