المنهج الدراسي الدرس 143 من 250 · التضمينات والبحث الدلالي من الصفر
التضمينات والبحث الدلالي من الصفر

متجهات حقيبة الكلمات

قبل أن يتمكن النموذج من مقارنة قطعتين من النص، يجب أن يتحول النص إلى أرقام. الطريقة الأقدم والأبسط هي حقيبة الكلمات: اختر قائمة ثابتة من الكلمات (المفردات)، ثم صف أي مستند بعدد مرات ظهور كل كلمة من المفردات فيه. يتم تجاهل ترتيب الكلمات، ومن هنا جاءت كلمة حقيبة. إنها طريقة بدائية، لكنها الأساس الذي بنيت عليه خوارزميات TF-IDF و BM25 وحتى dense embeddings.

لنفترض أن المفردات هي ["the", "cat", "sat", "dog", "ran"]. يصبح المستند "the cat sat" متجه العدّ [1, 1, 1, 0, 0]: واحد the، وواحد cat، وواحد sat، وصفر dog، وصفر ran. ويصبح المستند "the dog ran the dog" هو [2, 0, 0, 2, 1].

قاعدتان مهمتان في الإنتاج:

  • طول المتجه هو دائما حجم المفردات، بغض النظر عن طول المستند. هذا الشكل الثابت هو ما يسمح لك برص المستندات في مصفوفة وإجراء الجبر الخطي.
  • الكلمات غير الموجودة في المفردات (خارج المفردات، أو OOV) يتم تجاهلها ببساطة. يقوم النظام الحقيقي بوضع حد للمفردات، لذا تختفي الكلمات غير المرئية.

في الكود الحقيقي ستستخدم scikit-learn، الذي يقوم بهذا بالضبط ويعطيك sparse matrix:

from sklearn.feature_extraction.text import CountVectorizer
vec = CountVectorizer(vocabulary=["the", "cat", "sat", "dog", "ran"])
X = vec.transform(["the cat sat"])   # one row, vocab-size columns

لفهم ما تفعله تلك الأداة داخليا، ستقوم ببناء العداد بنفسك.

البناء vectorize(doc, vocab): حول المستند إلى أحرف صغيرة، وقم بتقسيمه بناء على المسافات البيضاء، وأرجع list من الأعداد، واحد لكل كلمة في المفردات، بترتيب المفردات. تجاهل أي token ليس في المفردات. المستند الفارغ يعيد جميع الأصفار.

دورك

اكتب vectorize(doc, vocab) الذي يحول سلسلة نصية لمستند إلى قائمة تعداد كلمات حقيبة فوق مفردات ثابتة. حول المستند إلى أحرف صغيرة وقسمه بناء على المسافات البيضاء، واحسب عدد مرات ظهور كل كلمة vocab، وأعد التعدادات كقائمة بترتيب vocab. يتم تجاهل الرموز خارج المفردات؛ المستند الفارغ يعيد جميع الأصفار. طول القائمة المعادة يساوي دائما len(vocab).

هل لاحظت مشكلة في هذا الدرس؟ أبلغ عنها · اسأل عن هذا الدرس

سيفتح هذا التمرين قريبا

أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.