سرفصل‌ها درس 147 از 250 · امبدینگ‌ها و جستجوی معنایی از صفر
امبدینگ‌ها و جستجوی معنایی از صفر

TF-IDF رتریور بر روی یک مجموعهٔ اسناد

شمارش خام، کلمات رایج را بیش از حد وزن‌دهی می‌کند: the در همه‌جا ظاهر می‌شود و هیچ اطلاعاتی دربارهٔ یک سند به شما نمی‌دهد. TF-IDF این مشکل را حل می‌کند. این روش تعداد دفعات ظاهر شدن یک واژه در یک سند (فرکانس واژه) را در میزان نادر بودن آن واژه در کل مجموعه (معکوس فرکانس سند) ضرب می‌کند. واژه‌هایی که در یک سند پرکاربرد اما در کل مجموعه نادر هستند، یعنی واژه‌هایی که واقعاً سند را متمایز می‌کنند، بیشترین وزن را دریافت می‌کنند.

بردارهای TF-IDF اسناد خود را در یک ماتریس انباشته کنید، پرس‌وجو را به همان شیوه به یک بردار TF-IDF تبدیل کنید و اسناد را بر اساس شباهت کسینوس با پرس‌وجو رتبه‌بندی کنید. این یک سامانه بازیابی کامل است: نیمه واژگانی تقریباً هر سامانه RAG. scikit-learn هر دو بخش را در اختیار شما قرار می‌دهد:

from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.metrics.pairwise import cosine_similarity
import numpy as np

vec = TfidfVectorizer()
doc_matrix = vec.fit_transform(docs)        # fit vocab + idf on the docs
q_vec = vec.transform([query])              # SAME vocab for the query
sims = cosine_similarity(q_vec, doc_matrix)[0]   # one score per doc

دو جزئیات که یک سامانه بازیابی کارآمد را از یک سامانه معیوب متمایز می‌کند:

  • فراخوانی fit_transform روی اسناد اما فقط transform روی پرس‌وجو، تا پرس‌وجو در همان واژگان و وزن‌های IDF قرار گیرد. تطبیق جداگانه پرس‌وجو، آن را در فضایی متفاوت قرار می‌دهد و امتیازها بی‌معنی خواهند بود.
  • شاخص‌های اسناد برتر-k را مرتب‌شده بر اساس شباهت نزولی بازگردانید. np.argsort ترتیب صعودی است، بنابراین نمره‌های منفی را مرتب کنید: np.argsort(-sims).

ساخت retrieve(query, docs, k) که متناسب با TfidfVectorizer روی docs، امتیازدهی می‌کند query در مقابل هر سند با استفاده از شباهت کسینوسی، و شاخص‌های برتر را بازمی‌گرداند k مستندات را به صورت لیستی از اعداد صحیح، با بیشترین شباهت در ابتدا، بازمی‌گرداند.

نوبت شما

نوشتن retrieve(query, docs, k) که شاخص‌های k مستندات مشابه ترین به پرس‌وجو. برازش یک TfidfVectorizer روی docs, transform پرس‌وجو را با همان وکتورساز تطبیق دهید و هر سند را با cosine_similarity، و موارد برتر را بازگردانید. k شاخص‌های اسناد را به‌عنوان فهرستی از اعداد صحیح به ترتیب نزولی شباهت بازگردانید. یک پرس‌وجو دربارهٔ پایتون باید ابتدا سند پایتون را بازگرداند؛ یک پرس‌وجو دربارهٔ بازپرداخت‌ها باید ابتدا سند بازپرداخت را بازگرداند.

مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید

این تمرین به‌زودی باز می‌شود

درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و می‌توانید همین الان این درس را بخوانید.