المنهج الدراسي الدرس 108 من 250 · حدس الشبكات العصبية، والنماذج اللغوية الكبيرة، ومشروع التخرج في الذكاء الاصطناعي
حدس الشبكات العصبية، والنماذج اللغوية الكبيرة، ومشروع التخرج في الذكاء الاصطناعي

شاهد: أوزان الانتباه

لقد قمت للتو بتنفيذ scaled dot-product attention. إليك ما تفعله تلك المصفوفات فعليا do. Attention يجعل كل كلمة تنظر إلى كل كلمة في الجملة (بما في ذلك نفسها)، وتقييم مدى أهمية كل واحدة، وإعادة بناء نفسها كـ weighted blend منها.

اضغط على play. شاهد كلمة sat وهي تظهر عبر the cat sat: تصبح ال scores الخام أوزان softmax مجموعها 1، ويشير الخط الأكثر سمكا إلى الكلمة الأكثر أهمية، و sat يمتص سياقها، غالبا من cat.

هل لاحظت مشكلة في هذا الدرس؟ أبلغ عنها · اسأل عن هذا الدرس

سيفتح هذا التمرين قريبا

أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.