الانتباه هو بحث بسيط
لماذا هذا مهم الانتباه هو الفكرة الجديدة الوحيدة في الـ transformer. كل شيء آخر تعرفه بالفعل. هو عملية بحث في القاموس، وبدلاً من اختيار إدخال واحد، يمزج بينها جميعاً.
شاهده
شغّل الرسم المتحرك. يطابق قاموس Python مفتاحاً بدقة ويُرجع قيمة واحدة. أما الانتباه فلديه استعلام (query) q، وقائمة من المفاتيح (keys) وقائمة من القيم (values). يقيّم الاستعلام مقابل كل مفتاح بحاصل ضرب نقطي، ويحوّل الدرجات إلى أوزان بـ softmax (موجبة، ومجموعها 1)، ويُرجع المتوسط الموزون للقيم.
weights = softmax(K @ q)
output = weights @ V
أرقام صغيرة
q = [1, 0]. المفاتيح [2, 0] و [0, 2] و [0, 0] تعطي درجات 2 و 0 و 0. دالة Softmax: e^2 = 7.39 و 1 و 1، لذا الأوزان هي 0.79 و 0.11 و 0.11. مع القيم 10 و 20 و 30 تكون المخرجات 0.79 مضروبة في 10 + 0.11 مضروبة في 20 + 0.11 مضروبة في 30 = 13.2: معظمها القيمة الأولى، وقليل من القيم الأخرى.
Query, key, value: ما أبحث عنه؛ ما يقدمه كل عنصر للمطابقة؛ ما يقدمه كل عنصر في حال المطابقة.
الكلمات والرموز في هذا الدرس
- query, key, value
- ما الذي يبحث عنه الموقع؛ ما الذي يقدمه كل موقع للمطابقة؛ ما الذي يسلمه
- انتباه
- softmax لدرجات query-key، وتستخدم لمتوسط القيم
اكتب attend(q, K, V) لاستعلام واحد: أرجع (weights, output).
سيفتح هذا التمرين قريبا
أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.
يقوم هذا المتصفح بحظر ملفات تعريف الارتباط لـ learn.floati.life، لذا لا يمكن فتح الدروس التي أنهيتها هنا بالترتيب. اسمح بملفات تعريف الارتباط لهذا الموقع وأعد التحميل.