المنهج الدراسي الدرس 144 من 246 · الوحدة 13: الانتباه والتحويلات
الوحدة 13: الانتباه والتحويلات

الانتباه الذاتي: كل موضع يسأل كل موضع آخر

لماذا هذا مهم في الـ transformer لا يوجد encoder منفصل للرجوع إليه. كل موضع في النص ينتبه إلى المواضع الأخرى، لذا يتم تحديث متجه كل حرف بمعلومات من بقية الجملة.

ابدأ بـ X، صف لكل موضع (t صفاً، وd عموداً). ثلاث مصفوفات مُتعلَّمة تصنع الاستعلام والمفتاح والقيمة لكل موضع دفعة واحدة:

Q = X @ Wq     K = X @ Wk     V = X @ Wv
A = softmax(Q @ K.T / sqrt(dk))      # t by t: row i is how much position i attends to each position
out = A @ V

هذا هو البحث السهل للدرس 1، الذي يتم إجراؤه لجميع استعلامات t دفعة واحدة باستخدام ضرب مصفوفتين، وهذا هو سبب عمله بشكل جيد جدا على روتين الرياضيات السريع.

الكلمات والرموز في هذا الدرس
query, key, value
ما الذي يبحث عنه الموقع؛ ما الذي يقدمه كل موقع للمطابقة؛ ما الذي يسلمه
انتباه
softmax لدرجات query-key، وتستخدم لمتوسط القيم
الانتباه الذاتي
كل موضع ينتبه لمواقعات النص نفسه
دورك

اكتب self_attention(X, Wq, Wk, Wv) الذي يعيد (out, A).

هل لاحظت مشكلة في هذا الدرس؟ أبلغ عنها · اسأل عن هذا الدرس

سيفتح هذا التمرين قريبا

أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.