کتبههای کیسهکلمهای
قبل از اینکه یک مدل بتواند دو قطعه متن را با هم مقایسه کند، متن باید به عدد تبدیل شود. قدیمیترین و سادهترین روش، کیسه واژگان است: یک فهرست ثابت از واژگان (واژهنامه) را انتخاب کنید، سپس هر سند را با شمارش تعداد دفعات وقوع هر واژه در آن توصیف کنید. ترتیب کلمات نادیده گرفته میشود؛ از این رو به آن «کیسهٔ کلمات» میگویند. این روش ساده و ابتدایی است، اما بنیانی است که TF-IDF، BM25 و حتی embeddingهای متراکم بر آن استوار شدهاند.
فرض کنید واژگان ["the", "cat", "sat", "dog", "ran"]. سند "the cat sat" به بردار شمارش تبدیل میشود [1, 1, 1, 0, 0]: یک the، یک cat، یک sat، صفر dog، صفر ran. سند "the dog ran the dog" میشود [2, 0, 0, 2, 1].
دو قاعده که در تولید اهمیت دارند:
- طول بردار همیشه برابر با اندازه واژگان است، صرفنظر از طول سند. این شکل ثابت همان چیزی است که به شما امکان میدهد اسناد را در یک ماتریس انباشته کرده و جبر خطی انجام دهید.
- واژههایی که در واژگان وجود ندارند (خارج از واژگان، یا OOV) به سادگی نادیده گرفته میشوند. یک سیستم واقعی واژگان را محدود میکند، بنابراین واژههای ندیدهشده ناپدید میشوند.
در کد واقعی، به سراغ scikit-learn میروید که دقیقاً همین کار را انجام میدهد و یک ماتریس پراکنده (sparse matrix) در اختیارتان میگذارد:
from sklearn.feature_extraction.text import CountVectorizer
vec = CountVectorizer(vocabulary=["the", "cat", "sat", "dog", "ran"])
X = vec.transform(["the cat sat"]) # one row, vocab-size columnsبرای درک اینکه آن ابزار در پسصحنه چه میکند، خودتان شمارشگر را خواهید ساخت.
ساخت vectorize(doc, vocab): سند را به حروف کوچک تبدیل کنید، آن را بر اساس فاصلههای خالی تقسیمبندی کنید و یک لیست شامل شمارشها را بازگردانید، به ازای هر کلمهٔ واژگان، به ترتیب واژگان. هر توکنی که در واژگان نباشد را نادیده بگیرید. یک سند خالی همهٔ صفرها را بازمیگرداند.
نوشتن vectorize(doc, vocab) که یک رشتهٔ سند را به یک فهرست شمارش کیسهٔ واژگان بر اساس واژگان ثابت تبدیل میکند. حروف کوچک کنید و سند را با استفاده از فاصلههای خالی تقسیم کنید، بشمارید هر کدام چند بار vocab واژه ظاهر میشود، و شمارشها را به صورت یک لیست در vocab به ترتیب. توکنهای خارج از واژگان نادیده گرفته میشوند؛ یک سند خالی همه صفرها را بازمیگرداند. طول لیست بازگشتی همیشه برابر است با len(vocab).
مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید
این تمرین بهزودی باز میشود
درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و میتوانید همین الان این درس را بخوانید.
این مرورگر کوکیهای learn.floati.life را مسدود میکند، پس درسهایی که اینجا تمام کردید نمیتوانند به ترتیب باز شوند. کوکیها را برای این سایت مجاز کنید و صفحه را دوباره بارگذاری کنید.