فهرسة قاعدة المعرفة
مرحباً بك في مشروعك الرئيسي لملف أعمالك: Customer Support Copilot. على مدى أربعة دروس ستبني وتقيّم مساعد دعم معزَّزاً بالاسترجاع (RAG) من البداية إلى النهاية -- وهو النظام نفسه وراء أداة الدردشة التي تجيب عن "how do I reset my password?" من مقالات المساعدة لدى الشركة بدلاً من التخمين. عندما تنتهي، سيكتب سطر السيرة الذاتية نفسه: built and evaluated a RAG pipeline and eval harness.
يحتوي نظامA RAG على قاعدة ذهبية واحدة: يجيب النموذج فقط من المستندات التي استرجعتها بالفعل. لذا قبل إشراك أي نموذج لغوي، تحتاج إلى استرجاع سريع ودقيق. هذا هو هذا الدرس. مدير التوظيف الذي يقرأ كودك هنا يتحقق من شيء واحد: هل يمكنك تحويل كومة من النصوص إلى شيء يمكنك البحث فيه بشكل جيد؟ تعتبر TF-IDF طريقة معجمية: فهي تطابق الكلمات التي تشترك فيها الاستعلامة مع المقال، موزونة حسب مدى أهمية كل كلمة. هي لا تعرف أن "refund" و "money back" تعنيان الشيء نفسه؛ هذا ما تضيفه embeddings (الدروس القادمة). البحث المعجمي لا يزال هو الأساس السريع والرخيص الذي يجب على كل نظام استرجاع تجاوزه.
ستقوم ببناء TF-IDF صغير. الفكرة باختصار: تمثيل كل مقال كمتجه من أوزان الكلمات، حيث تحسب الكلمة أكثر إذا كانت متكررة في this المقال (تردد المصطلح) ولكنها نادرة عبر all المقالات (تردد المستند العكسي). قارن الاستعلام بكل مقال باستخدام cosine similarity وأعد النتائج الأقرب.
ثلاث خطوات تجعلها تعمل:
- Tokenize -- تحويل إلى أحرف صغيرة، وتقسيم إلى كلمات، وحذف stopwords الصغيرة مثل "the" و "is" التي تطابق كل شيء ولا تعني شيئا.
re.findall(r"[a-z0-9]+", text.lower())ثم تصفية مجموعة الكلمات المحذوفة. - Weight -- لكل مقال، يتم ضرب تكرار المصطلح في IDF، ثم يتم تطبيع المتجه إلى طول الوحدة حتى تتم مقارنة المقالات الطويلة والقصيرة بشكل عادل.
- Score -- التشابه الجيبي بين متجه الاستعلام وكل متجه مقال. مع المتجهات الوحدوية هو مجرد الضرب النقطي. الترتيب تنازلي.
قم ببناء دالتين فوق قائمة المقالات:
index = build_index(docs) # precompute weights once
retrieve(query, index, k) # -> the ids of the top-k closest docsتعيد build_index(docs) أي هيكل تحتاجه (قاموس dict هو خيار جيد). تعيد retrieve قائمة من مؤشرات integer إلى docs، مع وضع أفضل تطابق أولا، وبحد أقصى k منها. يمكنك استخدام Python العادية و math، أو numpy، أو TfidfVectorizer من scikit-learn -- أياً كان ما ستستخدمه، فإن العقد هو نفسه. حافظ على تعريف DOCS في مستوى module حتى يتمكن المصحح من إعادة بناء مؤشرك. اضغط على Run لمشاهدة بعض أسئلة الدعم وهي تتحول إلى المقال الصحيح.
قم ببناء مسترجع TF-IDF فوق قاعدة معرفة الدعم المكونة من 8 مقالات. أبقِ DOCS على مستوى الوحدة. اكتب build_index(docs) (تقسيم النص مع إزالة كلمات التوقف، وزن المصطلحات بواسطة tf*idf، التطبيع إلى متجهات الوحدة) و retrieve(query, index, k) التي تعيد فهارس أقرب docs إلى k الأقرب بواسطة cosine similarity، الأفضل أولا، بحد أقصى k. لغة Python العادية، أو numpy، أو scikit-learn كلها تعمل.
سيفتح هذا التمرين قريبا
أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.
يقوم هذا المتصفح بحظر ملفات تعريف الارتباط لـ learn.floati.life، لذا لا يمكن فتح الدروس التي أنهيتها هنا بالترتيب. اسمح بملفات تعريف الارتباط لهذا الموقع وأعد التحميل.