تضمين الأجزاء
لديك قطع من النصوص. لكن المسترجع يقارن vectors، وليس الكلمات، لذا فإن الخطوة المفقودة هي embedding: تحويل كل قطعة إلى قائمة أرقام ذات طول ثابت بحيث يستقر النص ذو المحتوى المشابه في إحداثيات مشابهة. هذا هو "embed" الموعود في خط العمل (chunk -> embed -> store -> retrieve -> prompt)، وهو ما يغذي VectorStore.add(id, text, vector) في الدرس القادم.
تستدعي أنظمة الإنتاج نموذج تضمين عصبياً (OpenAI، Cohere، sentence-transformer) عبر الشبكة، لكن العقد مطابق ويمكنك بناء مُضمِّن حقيقي حتمي دون اتصال لتتعلّمه: متجه حقيبة الكلمات (bag-of-words). ثبّت vocab (الكلمات التي تهمك)، ثم مثّل قطعة نصية بعدد مرات ظهور كل كلمة من المفردات فيها.
vocab = ["cat", "dog", "fish"]
# "cat cat dog" -> [2, 1, 0] (two cats, one dog, no fish)خطوة إضافية تجعل هذه صالحة للبحث بـ cosine: تطبيع L2 للمتجه (اقسمه على طوله، np.linalg.norm). بعد ذلك يكون طول كل متجه 1، فيصبح تشابه cosine مجرد حاصل ضرب نقطي، وتكفّ القطع الطويلة عن الهيمنة على القصيرة لمجرد أن فيها كلمات أكثر. القطعة التي لا تحتوي أياً من كلمات المفردات ليس فيها ما يُطبَّع، لذا اترك ذلك المتجه الصفري كما هو (لا تقسم على صفر أبداً).
قم ببناء دالتين.
build_vocab(chunks)-> القائمة المرتبة للكلمات الفريدة عبر جميع الأجزاء. قم بتقسيم كل جزء باستخدامtext.lower().split()(أحرف صغيرة، التقسيم بناء على المسافات البيضاء).embed(text, vocab)-> مصفوفة numpy float بطولlen(vocab): عدد كل كلمة فيtext(نفس tokenizer)، ثم يتم إجراء L2-normalized. إذا كانت جميع الأعداد صفر، أعد متجه الصفر دون تغيير.
اضغط على Run لتضمين بعض الأجزاء وتأكيد نقاط النص المتعلقة بنفس الطريقة.
اكتب build_vocab(chunks) الذي يعيد الكلمات الفريدة المرتبة عبر جميع الأجزاء (استخدم tokenize مع text.lower().split())، و embed(text, vocab) الذي يعيد numpy float array بطول len(vocab) يحتوي على عدد كل كلمة في vocab في text (نفس tokenizer)، مع إجراء L2-normalized باستخدام np.linalg.norm. إذا كان كل count يساوي صفر، أعد all-zero vector دون تغيير (لا تقسم على صفر).
سيفتح هذا التمرين قريبا
أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.
يقوم هذا المتصفح بحظر ملفات تعريف الارتباط لـ learn.floati.life، لذا لا يمكن فتح الدروس التي أنهيتها هنا بالترتيب. اسمح بملفات تعريف الارتباط لهذا الموقع وأعد التحميل.