الانتباه الذاتي: كل موضع يسأل كل موضع آخر
لماذا هذا مهم في الـ transformer لا يوجد encoder منفصل للرجوع إليه. كل موضع في النص ينتبه إلى المواضع الأخرى، لذا يتم تحديث متجه كل حرف بمعلومات من بقية الجملة.
ابدأ بـ X، صف لكل موضع (t صفاً، وd عموداً). ثلاث مصفوفات مُتعلَّمة تصنع الاستعلام والمفتاح والقيمة لكل موضع دفعة واحدة:
Q = X @ Wq K = X @ Wk V = X @ Wv
A = softmax(Q @ K.T / sqrt(dk)) # t by t: row i is how much position i attends to each position
out = A @ V
هذا هو البحث السهل للدرس 1، الذي يتم إجراؤه لجميع استعلامات t دفعة واحدة باستخدام ضرب مصفوفتين، وهذا هو سبب عمله بشكل جيد جدا على روتين الرياضيات السريع.
الكلمات والرموز في هذا الدرس
- query, key, value
- ما الذي يبحث عنه الموقع؛ ما الذي يقدمه كل موقع للمطابقة؛ ما الذي يسلمه
- انتباه
- softmax لدرجات query-key، وتستخدم لمتوسط القيم
- الانتباه الذاتي
- كل موضع ينتبه لمواقعات النص نفسه
اكتب self_attention(X, Wq, Wk, Wv) الذي يعيد (out, A).
سيفتح هذا التمرين قريبا
أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.
يقوم هذا المتصفح بحظر ملفات تعريف الارتباط لـ learn.floati.life، لذا لا يمكن فتح الدروس التي أنهيتها هنا بالترتيب. اسمح بملفات تعريف الارتباط لهذا الموقع وأعد التحميل.