المنهج الدراسي الدرس 147 من 250 · التضمينات والبحث الدلالي من الصفر
التضمينات والبحث الدلالي من الصفر

مسترجع TF-IDF عبر مجموعة مستندات

تحسب الأعداد الخام الكلمات الشائعة الزائدة عن الحد: theتظهر في كل مكان ولا تخبرك بشيء عن المستند. TF-IDF يصحح ذلك. يقوم بضرب عدد مرات ظهور المصطلح في المستند (term frequency) بمدى ندرة ذلك المصطلح عبر المجموعة كاملة (inverse document frequency). الكلمات المتكررة في مستند واحد ولكنها نادرة بشكل عام، وهي الكلمات التي تميزه فعليا، تحصل على الوزن الأعلى.

رصّ متجهات TF-IDF لمستنداتك في مصفوفة، وحوّل الاستعلام إلى متجه TF-IDF بالطريقة نفسها، ورتّب المستندات بحسب تشابه cosine مع الاستعلام. هذا مسترجِع كامل: النصف المعجمي من كل نظام RAG تقريباً. يعطيك scikit-learn القطعتين كلتيهما:

from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.metrics.pairwise import cosine_similarity
import numpy as np

vec = TfidfVectorizer()
doc_matrix = vec.fit_transform(docs)        # fit vocab + idf on the docs
q_vec = vec.transform([query])              # SAME vocab for the query
sims = cosine_similarity(q_vec, doc_matrix)[0]   # one score per doc

تفصيلان يميزان الـ retriever الصالح عن الـ retriever المعطل:

  • استدعِ fit_transform على المستندات لكن transform فقط على الاستعلام، لكي يُسقَط الاستعلام على المفردات وأوزان idf نفسها. ملاءمة الاستعلام بشكل منفصل ستضعه في فضاء مختلف وستكون الدرجات بلا معنى.
  • أعد مؤشرات المستندات الأعلى k مرتبة حسب التشابه تنازلياً. np.argsort ترتب تصاعدياً، لذا رتب الدرجات السالبة: np.argsort(-sims).
قم ببناء

البناء retrieve(query, docs, k) الذي يناسب TfidfVectorizer على docs، ويحسب query مقابل كل مستند باستخدام cosine similarity، ويعيد مؤشرات أفضل k مستندات كقائمة من ints، بحيث يكون الأكثر تشابها أولا.

دورك

اكتب retrieve(query, docs, k) الذي يعيد مؤشرات وثائق k الأكثر تشابها مع الاستعلام. قم بعمل Fit لـ TfidfVectorizer على docs، و transform الاستعلام باستخدام نفس الـ vectorizer، وقم بعمل score لكل وثيقة باستخدام cosine_similarity، وأعد أعلى k من مؤشرات الوثائق كقائمة من ints بترتيب تشابه تنازلي. الاستعلام عن Python يجب أن يعيد وثيقة Python أولا؛ والاستعلام عن refunds يجب أن يعيد وثيقة refund أولا.

هل لاحظت مشكلة في هذا الدرس؟ أبلغ عنها · اسأل عن هذا الدرس

سيفتح هذا التمرين قريبا

أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.