BM25: رتبهبندی واژگانی پراکنده
TF-IDF یک مبنای عالی است، اما تابع رتبهبندی که در واقع موتورهای جستجو را به حرکت درمیآورد و نیمه لغتشناختی بازیابی هیبریدی مدرن است، BM25 است. این روش غریزه TF-IDF (اصطلاحات نادر اهمیت دارند، اصطلاحات تکراری اهمیت دارند) را حفظ میکند اما دو نقص آن را با پارامترهای قابل تنظیم برطرف میسازد.
برای یک واژهٔ پرسوجو در یک سند، BM25 موارد زیر را در نظر میگیرد:
idf(term) * ( tf * (k1 + 1) ) / ( tf + k1 * (1 - b + b * dl / avgdl) )که در آن tf تعداد دفعات ظاهر شدن واژه در سند است، dl طول سند است، و avgdl میانگین طول سند است. امتیاز سند مجموع امتیاز تمام واژههای پرسوجو است. سه بخش کار را انجام میدهند:
- IDF با هموارسازی BM25:
idf = log(1 + (N - n + 0.5) / (n + 0.5))، کهNتعداد اسناد است وnتعداد اسنادی است که این واژه را در خود دارند.+ 1از منفی شدن آن جلوگیری میکند. - اشباع بسامد واژه از طریق
k1(پیشفرض ۱.۵): دهمین تکرار یک واژه بهمراتب کمتر از تکرار دوم اهمیت دارد. TF-IDF خام بهطور خطی و نامحدود رشد میکند؛ BM25 آن را هموار میسازد. - طبیعیسازی طول از طریق
b(پیشفرض 0.75): از یک سند طولانی انتظار میرود که یک واژه را صرفاً به دلیل طولش بیشتر شامل شود، بنابراین امتیاز آن کاهش داده میشود. دو سند با یکسانtfمستند کوتاهتر را بالاتر رتبهبندی میکند.
اصطلاحی که در هیچ مستندی ظاهر نشود هیچ امتیازی ندارد، و مستندی که تمام اصطلاحات پرسوجو را در خود نداشته باشد دقیقاً امتیاز میگیرد 0.0. آن صفر باربری است: این همان روشی است که با آن متوجه میشوید یک سند نامرتبط است.
شما روی اسناد توکنشده (فهرستهای کلمات) کار خواهید کرد، بنابراین تمرکز بر ریاضیات است، نه توکنسازی. از math.log (loga طبیعی)؛ مبنا فقط همهٔ امتیازها را با یک عدد ثابت مقیاس میکند و رتبهبندی را تغییر نمیدهد.
ساخت bm25_scores(query, corpus_tokens, k1=1.5, b=0.75) که query یک لیست از عبارات جستجو و corpus_tokens لیستی از اسناد توکنشده است. یک لیست از امتیازات BM25 را بازگردانید، به ازای هر سند یکی، به ترتیب کُرپوس.
نوشتن bm25_scores(query, corpus_tokens, k1=1.5, b=0.75) پیادهسازی تابع رتبهبندی BM25. query یک لیست از اصطلاحات است؛ corpus_tokens یک فهرست از اسناد توکنشده است (هر کدام یک فهرست از واژگان). برای هر سند، مجموع واژگان یکتا در پرسوجو را محاسبه کنید: idf * tf * (k1 + 1) / (tf + k1 * (1 - b + b * dl / avgdl))، با idf = log(1 + (N - n + 0.5) / (n + 0.5)). یک لیست از امتیازها را به ترتیب کُرپوس بازگردانید. سندی که تکرارهای بیشتری از یک واژهٔ پرسوجو در آن وجود دارد، امتیاز بالاتری میگیرد؛ سندی که هیچ تکرار ندارد، امتیاز 0.0؛ در صورت یکسان بودن بسامد واژه، سند کوتاهتر امتیاز کمتری میگیرد؛ دو سند یکسان امتیاز یکسانی دارند.
مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید
این تمرین بهزودی باز میشود
درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و میتوانید همین الان این درس را بخوانید.
این مرورگر کوکیهای learn.floati.life را مسدود میکند، پس درسهایی که اینجا تمام کردید نمیتوانند به ترتیب باز شوند. کوکیها را برای این سایت مجاز کنید و صفحه را دوباره بارگذاری کنید.