المنهج الدراسي الدرس 138 من 246 · الوحدة 12: الكلمات كأرقام (embeddings)
الوحدة 12: الكلمات كأرقام (embeddings)

تعلم متجهات الكلمات (skip-gram)

لماذا هذا مهم تتطلب عملية العد جدولاً بحجم V بـ V، وهو أمر مستحيل لمليون كلمة. بدلاً من ذلك، يتعلم Word2vec ناقلات قصيرة مباشرة بواسطة gradient descent، والفكرة نفسها، وهي تعلم الناقلات عن طريق التنبؤ بالسياق، موجودة داخل كل نموذج لغة.

Skip-gram مع العينات السلبية. لكل كلمة متجهان: v (ككلمة نفسها) و u (كسياق لكلمة أخرى). بالنسبة لزوج حقيقي (كلمة وكلمة من جملتها)، ارفع النتيجة v dot u؛ وبالنسبة لـ k من الكلمات "السلبية" العشوائية، اخفضها:

loss = -log sigmoid(v . u_pos) - sum over negatives of log sigmoid(-v . u_neg)

التدرجات، بواسطة قاعدة السلسلة

مع p = sigmoid(v . u_pos) و q_k = sigmoid(v . u_neg_k):

  • dL/dv = (p - 1) u_pos + sum over k of q_k u_neg_k
  • dL/du_pos = (p - 1) v
  • dL/du_neg_k = q_k v

اقرأها: إذا كانت الزوجة الحقيقية تحصل بالفعل على درجة عالية، فإن p قريبة من 1 ولا يتغير شيء تقريبًا. الأخطاء تنتج دفعات كبيرة، تمامًا مثل cross-entropy.

Batched، مع None

بالنسبة لمجموعة، يكون شكل p هو (B,) وشكل u_pos هو (B, d). لتوسيع كل صف في u_pos بمقدار (p - 1) الخاص به، أضف اتجاها: (p - 1)[:, None] * u_pos، بشكل (B, 1) مضروبا في (B, d). بالنسبة للقيم السالبة، يكون شكل q هو (B, k) وشكل v هو (B, d)؛ تقوم q[:, :, None] * v[:, None, :] بمحاذاتها كـ (B, k, 1) مضروبا في (B, 1, d)، مما يعطي (B, k, d): نسخة واحدة موسعة من v لكل قيمة سالبة. (قدم درس الأشكال في وحدة Python الـ None.)

الكلمات والرموز في هذا الدرس
PPMI
كم مرة تظهر كلمتان معاً أكثر مما يفرضه الاحتمال، مع ضبط القيم السالبة على 0
skip-gram، negative sampling
تعلم المتجهات عن طريق إعطاء درجات عالية للأزواج الحقيقية (word, context) ودرجات منخفضة للأزواج العشوائية
دورك

اكتب sgns_grads(v, u_pos, u_neg) لمجموعة: v و u_pos لهما شكل (B, d)، و u_neg له شكل (B, k, d). أعد (g_v, g_pos, g_neg) بنفس الأشكال. تستخدم حلقة التدريب ذلك؛ ثم يجب أن تكون التناظرات الـ 72 صحيحة بنسبة 90% على الأقل.

هل لاحظت مشكلة في هذا الدرس؟ أبلغ عنها · اسأل عن هذا الدرس

سيفتح هذا التمرين قريبا

أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.