شاهد: أوزان الانتباه
لقد قمت للتو بتنفيذ scaled dot-product attention. إليك ما تفعله تلك المصفوفات فعليا do. Attention يجعل كل كلمة تنظر إلى كل كلمة في الجملة (بما في ذلك نفسها)، وتقييم مدى أهمية كل واحدة، وإعادة بناء نفسها كـ weighted blend منها.
اضغط على play. شاهد كلمة sat وهي تظهر عبر the cat sat: تصبح ال scores الخام أوزان softmax مجموعها 1، ويشير الخط الأكثر سمكا إلى الكلمة الأكثر أهمية، و sat يمتص سياقها، غالبا من cat.
سيفتح هذا التمرين قريبا
أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.
يقوم هذا المتصفح بحظر ملفات تعريف الارتباط لـ learn.floati.life، لذا لا يمكن فتح الدروس التي أنهيتها هنا بالترتيب. اسمح بملفات تعريف الارتباط لهذا الموقع وأعد التحميل.