مسترجع TF-IDF عبر مجموعة مستندات
تحسب الأعداد الخام الكلمات الشائعة الزائدة عن الحد: theتظهر في كل مكان ولا تخبرك بشيء عن المستند. TF-IDF يصحح ذلك. يقوم بضرب عدد مرات ظهور المصطلح في المستند (term frequency) بمدى ندرة ذلك المصطلح عبر المجموعة كاملة (inverse document frequency). الكلمات المتكررة في مستند واحد ولكنها نادرة بشكل عام، وهي الكلمات التي تميزه فعليا، تحصل على الوزن الأعلى.
رصّ متجهات TF-IDF لمستنداتك في مصفوفة، وحوّل الاستعلام إلى متجه TF-IDF بالطريقة نفسها، ورتّب المستندات بحسب تشابه cosine مع الاستعلام. هذا مسترجِع كامل: النصف المعجمي من كل نظام RAG تقريباً. يعطيك scikit-learn القطعتين كلتيهما:
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.metrics.pairwise import cosine_similarity
import numpy as np
vec = TfidfVectorizer()
doc_matrix = vec.fit_transform(docs) # fit vocab + idf on the docs
q_vec = vec.transform([query]) # SAME vocab for the query
sims = cosine_similarity(q_vec, doc_matrix)[0] # one score per docتفصيلان يميزان الـ retriever الصالح عن الـ retriever المعطل:
- استدعِ
fit_transformعلى المستندات لكنtransformفقط على الاستعلام، لكي يُسقَط الاستعلام على المفردات وأوزان idf نفسها. ملاءمة الاستعلام بشكل منفصل ستضعه في فضاء مختلف وستكون الدرجات بلا معنى. - أعد مؤشرات المستندات الأعلى k مرتبة حسب التشابه تنازلياً.
np.argsortترتب تصاعدياً، لذا رتب الدرجات السالبة:np.argsort(-sims).
البناء retrieve(query, docs, k) الذي يناسب TfidfVectorizer على docs، ويحسب query مقابل كل مستند باستخدام cosine similarity، ويعيد مؤشرات أفضل k مستندات كقائمة من ints، بحيث يكون الأكثر تشابها أولا.
اكتب retrieve(query, docs, k) الذي يعيد مؤشرات وثائق k الأكثر تشابها مع الاستعلام. قم بعمل Fit لـ TfidfVectorizer على docs، و transform الاستعلام باستخدام نفس الـ vectorizer، وقم بعمل score لكل وثيقة باستخدام cosine_similarity، وأعد أعلى k من مؤشرات الوثائق كقائمة من ints بترتيب تشابه تنازلي. الاستعلام عن Python يجب أن يعيد وثيقة Python أولا؛ والاستعلام عن refunds يجب أن يعيد وثيقة refund أولا.
سيفتح هذا التمرين قريبا
أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.
يقوم هذا المتصفح بحظر ملفات تعريف الارتباط لـ learn.floati.life، لذا لا يمكن فتح الدروس التي أنهيتها هنا بالترتيب. اسمح بملفات تعريف الارتباط لهذا الموقع وأعد التحميل.