رؤوس كثيرة، تكلفة واحدة
لماذا هذا مهم نمط انتباه واحد لكل طبقة هو أمر محدود: قد يرغب الموقع في النظر إلى الحرف السابق وفي نفس الوقت إلى بداية الكلمة. يقوم Multi-head attention بتشغيل عدة انتباهات أصغر جنبا إلى جنب.
شاهده
شغّل الرسم المتحرك. قسّم أعمدة Q وK وV البالغة d إلى H مجموعة بحجم d / H. كل مجموعة (رأس (head)) تقوم بانتباهها الخاص بنمطها الخاص. ألصق مخرجات H جنباً إلى جنب في d عموداً، ثم امزجها بمصفوفة إضافية Wo.
التكلفة: نفس المصفوفات كأنها رأس واحد كبير، لكنها مقسمة إلى أجزاء فقط، لذا لا يتغير عدد المعاملات. كل رأس أضيق، لذا يتم القسمة على الجذر التربيعي لـ d / H.
الكلمات والرموز في هذا الدرس
- انتباه
- softmax لدرجات query-key، وتستخدم لمتوسط القيم
- head
- واحد من H انتباهاً أضيق تعمل جنباً إلى جنب، لكل منها نمطه
اكتب multi_head(X, Wq, Wk, Wv, Wo, H) (بدون قناع)، مع إرجاع المخرجات وقائمة من مصفوفات H attention.
سيفتح هذا التمرين قريبا
أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.
يقوم هذا المتصفح بحظر ملفات تعريف الارتباط لـ learn.floati.life، لذا لا يمكن فتح الدروس التي أنهيتها هنا بالترتيب. اسمح بملفات تعريف الارتباط لهذا الموقع وأعد التحميل.