المنهج الدراسي الدرس 141 من 246 · الوحدة 13: الانتباه والتحويلات
الوحدة 13: الانتباه والتحويلات

الانتباه هو بحث بسيط

لماذا هذا مهم الانتباه هو الفكرة الجديدة الوحيدة في الـ transformer. كل شيء آخر تعرفه بالفعل. هو عملية بحث في القاموس، وبدلاً من اختيار إدخال واحد، يمزج بينها جميعاً.

شاهده

شغّل الرسم المتحرك. يطابق قاموس Python مفتاحاً بدقة ويُرجع قيمة واحدة. أما الانتباه فلديه استعلام (query) q، وقائمة من المفاتيح (keys) وقائمة من القيم (values). يقيّم الاستعلام مقابل كل مفتاح بحاصل ضرب نقطي، ويحوّل الدرجات إلى أوزان بـ softmax (موجبة، ومجموعها 1)، ويُرجع المتوسط الموزون للقيم.

weights = softmax(K @ q)
output  = weights @ V

أرقام صغيرة

q = [1, 0]. المفاتيح [2, 0] و [0, 2] و [0, 0] تعطي درجات 2 و 0 و 0. دالة Softmax: e^2 = 7.39 و 1 و 1، لذا الأوزان هي 0.79 و 0.11 و 0.11. مع القيم 10 و 20 و 30 تكون المخرجات 0.79 مضروبة في 10 + 0.11 مضروبة في 20 + 0.11 مضروبة في 30 = 13.2: معظمها القيمة الأولى، وقليل من القيم الأخرى.

Query, key, value: ما أبحث عنه؛ ما يقدمه كل عنصر للمطابقة؛ ما يقدمه كل عنصر في حال المطابقة.

الكلمات والرموز في هذا الدرس
query, key, value
ما الذي يبحث عنه الموقع؛ ما الذي يقدمه كل موقع للمطابقة؛ ما الذي يسلمه
انتباه
softmax لدرجات query-key، وتستخدم لمتوسط القيم
دورك

اكتب attend(q, K, V) لاستعلام واحد: أرجع (weights, output).

هل لاحظت مشكلة في هذا الدرس؟ أبلغ عنها · اسأل عن هذا الدرس

سيفتح هذا التمرين قريبا

أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.