المنهج الدراسي الدرس 139 من 246 · الوحدة 12: الكلمات كأرقام (embeddings)
الوحدة 12: الكلمات كأرقام (embeddings)

تنسخ المتجهات بياناتها، بما في ذلك الانحرافات

لماذا هذا مهم تتعلم Embeddings أي أنماط يحتوي عليها النص، بما في ذلك الأنماط التي لا يريدها أحد. تضع Word vectors المدربة على أخبار حقيقية بعض الوظائف أقرب إلى "she" وأخرى أقرب إلى "he". يمكنك قياس ذلك، ويجب عليك القيام بذلك.

أنشئ اتجاه النوع من أزواج تختلف فقط في النوع: queen ناقص king، وwoman ناقص man، وprincess ناقص prince، وgirl ناقص boy، مجمعة ومقاسة بطول 1. موقع الكلمة على هذا الاتجاه هو حاصل الضرب النقطي لمتجهها (الوحدة) مع الاتجاه: الموجب يميل نحو "هي"، والسالب يميل نحو "هو".

يمكن لعالم الألعاب إضافة skew: مع skew بقيمة 0.4، تقول جمل الممرضة "she" بنسبة 90% من الوقت وتقول جمل المهندس "he" بنسبة 90% من الوقت. يبقى الأطباء والمعلمون بنسبة 50:50. لا يتغير أي شيء آخر.

إزالته، والالتقاط

يمكنك طرح مكون كل وظيفة على طول الاتجاه، مما يضبط موضعها عند 0 تماما. في هذا العالم التجريبي الذي يعمل بشكل كامل تقريبا: بعد الإزالة، يجلس الممرض والمهندس على مسافة متساوية تقريبا من "هي" و "هو" (جيب تمام الزاوية 0.114 و 0.118 في كلتا الحالتين). ذلك لأن الانحراف هنا يكمن في كلمة واحدة، وهي الضمير. في متجهات الكلمات المدربة على نصوص حقيقية، وجد الباحثون العكس: الانحراف منتشر عبر آلاف الكلمات التي لا يمكن لاتجاه واحد التقاطها، لذا بعد الإزالة لا تزال جيران الوظيفة يكشفون عنها. لذا فإن قراءة المسطرة النظيفة ليست دليلا على اختفاء الانحراف، والإصلاح الصادق يبدأ من البيانات.

الكلمات والرموز في هذا الدرس
embedding
صف الأرقام المتعلمة التي تمثل رمزاً واحداً
window
كم عدد الكلمات التي تعتبر رفيقة للكلمة من كلا الجانبين
PPMI
كم مرة تظهر كلمتان معاً بشكل متكرر أكثر مما تظهره الصدفة، مع ضبط القيم السالبة على 0
toy world
a نص مخترع بهيكل مدروس، لذا الإجابات الصحيحة معروفة
skew
a نمط غير متوازن في البيانات التي تنسخها المتجهات
دورك

اكتب gender_direction(X) وposition(X, word, g). كلاهما يعمل على متجهات الوحدة: اقسم متجه كل كلمة على طوله أولاً، ثم خذ الفروق الأربعة (queen ناقص king، وwoman ناقص man، وprincess ناقص prince، وgirl ناقص boy)، واجمعها ثم حجّم المجموع إلى الطول 1. الموضع هو حاصل الضرب النقطي لمتجه الوحدة للكلمة مع g. املأ pos: الانحياز (0.0 و0.4) إلى قاموس بمواضع الوظائف الأربع، باستخدام متجهات العدّ مع الجملة كاملة كنافذة. ثم اكتب remove(x, g) التي تزيل المكوّن على امتداد g.

هل لاحظت مشكلة في هذا الدرس؟ أبلغ عنها · اسأل عن هذا الدرس

سيفتح هذا التمرين قريبا

أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.