تعلم متجهات الكلمات (skip-gram)
لماذا هذا مهم تتطلب عملية العد جدولاً بحجم V بـ V، وهو أمر مستحيل لمليون كلمة. بدلاً من ذلك، يتعلم Word2vec ناقلات قصيرة مباشرة بواسطة gradient descent، والفكرة نفسها، وهي تعلم الناقلات عن طريق التنبؤ بالسياق، موجودة داخل كل نموذج لغة.
Skip-gram مع العينات السلبية. لكل كلمة متجهان: v (ككلمة نفسها) و u (كسياق لكلمة أخرى). بالنسبة لزوج حقيقي (كلمة وكلمة من جملتها)، ارفع النتيجة v dot u؛ وبالنسبة لـ k من الكلمات "السلبية" العشوائية، اخفضها:
loss = -log sigmoid(v . u_pos) - sum over negatives of log sigmoid(-v . u_neg)
التدرجات، بواسطة قاعدة السلسلة
مع p = sigmoid(v . u_pos) و q_k = sigmoid(v . u_neg_k):
- dL/dv = (p - 1) u_pos + sum over k of q_k u_neg_k
- dL/du_pos = (p - 1) v
- dL/du_neg_k = q_k v
اقرأها: إذا كانت الزوجة الحقيقية تحصل بالفعل على درجة عالية، فإن p قريبة من 1 ولا يتغير شيء تقريبًا. الأخطاء تنتج دفعات كبيرة، تمامًا مثل cross-entropy.
Batched، مع None
بالنسبة لمجموعة، يكون شكل p هو (B,) وشكل u_pos هو (B, d). لتوسيع كل صف في u_pos بمقدار (p - 1) الخاص به، أضف اتجاها: (p - 1)[:, None] * u_pos، بشكل (B, 1) مضروبا في (B, d). بالنسبة للقيم السالبة، يكون شكل q هو (B, k) وشكل v هو (B, d)؛ تقوم q[:, :, None] * v[:, None, :] بمحاذاتها كـ (B, k, 1) مضروبا في (B, 1, d)، مما يعطي (B, k, d): نسخة واحدة موسعة من v لكل قيمة سالبة. (قدم درس الأشكال في وحدة Python الـ None.)
الكلمات والرموز في هذا الدرس
- PPMI
- كم مرة تظهر كلمتان معاً أكثر مما يفرضه الاحتمال، مع ضبط القيم السالبة على 0
- skip-gram، negative sampling
- تعلم المتجهات عن طريق إعطاء درجات عالية للأزواج الحقيقية (word, context) ودرجات منخفضة للأزواج العشوائية
اكتب sgns_grads(v, u_pos, u_neg) لمجموعة: v و u_pos لهما شكل (B, d)، و u_neg له شكل (B, k, d). أعد (g_v, g_pos, g_neg) بنفس الأشكال. تستخدم حلقة التدريب ذلك؛ ثم يجب أن تكون التناظرات الـ 72 صحيحة بنسبة 90% على الأقل.
سيفتح هذا التمرين قريبا
أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.
يقوم هذا المتصفح بحظر ملفات تعريف الارتباط لـ learn.floati.life، لذا لا يمكن فتح الدروس التي أنهيتها هنا بالترتيب. اسمح بملفات تعريف الارتباط لهذا الموقع وأعد التحميل.