المنهج الدراسي الدرس 155 من 250 · بناء خط أنابيب RAG
بناء خط أنابيب RAG

تضمين الأجزاء

لديك قطع من النصوص. لكن المسترجع يقارن vectors، وليس الكلمات، لذا فإن الخطوة المفقودة هي embedding: تحويل كل قطعة إلى قائمة أرقام ذات طول ثابت بحيث يستقر النص ذو المحتوى المشابه في إحداثيات مشابهة. هذا هو "embed" الموعود في خط العمل (chunk -> embed -> store -> retrieve -> prompt)، وهو ما يغذي VectorStore.add(id, text, vector) في الدرس القادم.

تستدعي أنظمة الإنتاج نموذج تضمين عصبياً (OpenAI، Cohere، sentence-transformer) عبر الشبكة، لكن العقد مطابق ويمكنك بناء مُضمِّن حقيقي حتمي دون اتصال لتتعلّمه: متجه حقيبة الكلمات (bag-of-words). ثبّت vocab (الكلمات التي تهمك)، ثم مثّل قطعة نصية بعدد مرات ظهور كل كلمة من المفردات فيها.

vocab = ["cat", "dog", "fish"]
# "cat cat dog" -> [2, 1, 0]   (two cats, one dog, no fish)

خطوة إضافية تجعل هذه صالحة للبحث بـ cosine: تطبيع L2 للمتجه (اقسمه على طوله، np.linalg.norm). بعد ذلك يكون طول كل متجه 1، فيصبح تشابه cosine مجرد حاصل ضرب نقطي، وتكفّ القطع الطويلة عن الهيمنة على القصيرة لمجرد أن فيها كلمات أكثر. القطعة التي لا تحتوي أياً من كلمات المفردات ليس فيها ما يُطبَّع، لذا اترك ذلك المتجه الصفري كما هو (لا تقسم على صفر أبداً).

قم ببناء دالتين.

  • build_vocab(chunks) -> القائمة المرتبة للكلمات الفريدة عبر جميع الأجزاء. قم بتقسيم كل جزء باستخدام text.lower().split() (أحرف صغيرة، التقسيم بناء على المسافات البيضاء).
  • embed(text, vocab) -> مصفوفة numpy float بطول len(vocab): عدد كل كلمة في text (نفس tokenizer)، ثم يتم إجراء L2-normalized. إذا كانت جميع الأعداد صفر، أعد متجه الصفر دون تغيير.

اضغط على Run لتضمين بعض الأجزاء وتأكيد نقاط النص المتعلقة بنفس الطريقة.

دورك

اكتب build_vocab(chunks) الذي يعيد الكلمات الفريدة المرتبة عبر جميع الأجزاء (استخدم tokenize مع text.lower().split())، و embed(text, vocab) الذي يعيد numpy float array بطول len(vocab) يحتوي على عدد كل كلمة في vocab في text (نفس tokenizer)، مع إجراء L2-normalized باستخدام np.linalg.norm. إذا كان كل count يساوي صفر، أعد all-zero vector دون تغيير (لا تقسم على صفر).

هل لاحظت مشكلة في هذا الدرس؟ أبلغ عنها · اسأل عن هذا الدرس

سيفتح هذا التمرين قريبا

أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.