المنهج الدراسي الدرس 145 من 250 · التضمينات والبحث الدلالي من الصفر
التضمينات والبحث الدلالي من الصفر

فهم الـ Embeddings (محاكي Embeddings حتمي)

لدى

Bag-of-words نقطة عمياء قاتلة: "dog" و "puppy" كلمتان مختلفتان، لذا لا تشترك ناقلات العد الخاصة بهما في أي شيء وقيمة cosine هي 0، رغم أنهما تعنيان نفس الشيء تقريبًا. تعالج embeddings هذا الأمر عن طريق وضع الكلمات (أو الجمل الكاملة) في فضاء متجه حيث تقع الأشياء المستخدمة بطرق متشابهة بالقرب من بعضها البعض. الفكرة التوجيهية هي distributional hypothesis: الكلمة تُعرف من خلال الرفقة التي ترافقها. الكلمات التي تظهر في سياقات متماثلة تحصل على ناقلات متشابهة.

تأتي تضمينات

Production من شبكة عصبية مدربة (sentence-transformers) أو من API مستضاف. لا يمكننا تشغيل تلك هنا: لا يوجد GPU ولا شبكة في هذه البيئة المعزولة. لذا ستقوم ببناء deterministic mock embedder الذي يلتقط geometry الشيء الحقيقي بدون الأوزان المدربة. إنه صادق بشأن حدوده ومثالي لتعلم الآلية.

الحيلة هي متجه التواجد المشترك. بمعلومية مجموعة بيانات صغيرة منسقة، فإن تمثيل الكلمة هو عد الكلمات الأخرى التي تظهر في نفس المستندات معها. إذا كان dog و puppy يظهران معاً مع park و runs و nap، فإن متجهات السياق الخاصة بهما تتماشى وقيمة جيب التمام عالية. invoice يظهر مع pay و due بدلاً من ذلك، لذا فهو يشير إلى مكان آخر.

في مجموعة البيانات المرفقة مع هذا الدرس، النتيجة ملموسة:

cosine(embed("dog"), embed("puppy"))    # high, around 0.9
cosine(embed("dog"), embed("invoice"))  # low,  around 0.37

هذا التفاوت، cosine(dog, puppy) > cosine(dog, invoice)، هو الهدف الأساسي من الـ embeddings معبرا عنه في سطر واحد.

للمقارنة، هذا هو شكل استدعاء حقيقي (لن يعمل هنا، هو معروض للسياق فقط):

# real embeddings, requires a model download and is NOT used in grading
from sentence_transformers import SentenceTransformer
model = SentenceTransformer("all-MiniLM-L6-v2")
vec = model.encode("a happy dog")   # 384-dim learned vector

البناء embed(word, corpus, vocab) التي تعيد متجه التواجد المشترك لكلمة: قائمة ثابتة الطول (خانة واحدة لكل كلمة في المفردات) حيث تحسب الخانة j عدد مرات تواجد كلمة المفردات j مع الكلمة المستهدفة عبر جميع وثائق المتن التي تحتوي على الكلمة المستهدفة. لا تحسب الكلمة المستهدفة ضد نفسها. الكلمة نفسها تعيد دائما المتجه نفسه.

دورك

اكتب embed(word, corpus, vocab)، وهو محاكي تضمين حتمي. للكلمة المعطاة، افحص كل مستند في corpus (كل منها سلسلة نصية بأحرف صغيرة). في المستندات التي تحتوي على الكلمة، قم بعد الكلمات الأخرى (تخطى الكلمة المستهدفة نفسها) في متجه بطول المفردات، ويعاد كقائمة بترتيب vocab. النتيجة هي متجه سياق حدوث مشترك: الكلمات المستخدمة في سياقات مماثلة تحصل على متجهات مماثلة، وهكذا على مجموعة بيانات الدرس cosine(embed("dog"), embed("puppy")) > cosine(embed("dog"), embed("invoice")). الكلمة نفسها تعطي دائما نفس المتجه، والطول يساوي دائما len(vocab). حافظ على CORPUS و VOCAB الخاصين بالبدء كما هما: فحص التحقق يقرأهما.

هل لاحظت مشكلة في هذا الدرس؟ أبلغ عنها · اسأل عن هذا الدرس

سيفتح هذا التمرين قريبا

أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.