فهرستبندی پایگاه دانش
به ساخت پورتفولیوی پرچمدار خود خوش آمدید: یک دستیار پشتیبانی مشتری. در طول چهار درس، شما یک دستیار پشتیبانی مبتنی بر بازیابی-تکمیلشده (RAG) را از ابتدا تا انتها خواهید ساخت و ارزیابی خواهید کرد -- دقیقاً همان سیستمی که پشت ویجت چت قرار دارد و به جای حدس زدن، به سؤال «چگونه رمز عبورم را ریست کنم؟» از مقالات راهنمای شرکت پاسخ میدهد. وقتی کارتان تمام شود، جملهٔ رزومهنویسی خودبهخود نوشته میشود: «ساخت و ارزیابی یک خط لولهٔ RAG و سازوکار ارزیابی.»
یک سیستم RAG یک قانون طلایی دارد: مدل فقط از اسنادی پاسخ میدهد که شما واقعاً بازیابی کردهاید. بنابراین، قبل از اینکه هیچ مدل زبانی وارد عمل شود، به بازیابی سریع و دقیق نیاز دارید. این همان مبحث این درس است. یک مدیر استخدام که کد شما را اینجا میخواند، یک چیز را بررسی میکند: آیا میتوانید یک انبوه متن را به چیزی تبدیل کنید که بتوان در آن به خوبی جستجو کرد؟ TF-IDF یک روش واژگانی است: این روش کلماتی را که یک پرسوجو با یک مقاله مشترک دارد، با وزندهی بر اساس میزان گویایی هر کلمه، مطابقت میدهد. این روش نمیداند که «بازپرداخت» و «بازگشت وجه» یک معنی را میدهند؛ این چیزی است که امبدینگها اضافه میکنند (درسهای بعدی). جستجوی واژگانی هنوز هم مبنای سریع و ارزان است که هر سیستم بازیابی باید از آن پیشی بگیرد.
شما یک سامانه بازیاب کوچک TF-IDF خواهید ساخت. ایده در یک نگاه: هر مقاله را به صورت برداری از وزنهای واژهها نمایش دهید، که در آن یک واژه اگر در این مقاله پرتکرار باشد (تکرار واژه) اما در میان همه مقالهها نادر باشد (معکوس فرکانس سند)، وزن بیشتری دارد. یک پرسوجو را با هر مقاله با استفاده از شباهت کسینوس مقایسه کرده و نزدیکترینها را بازگردانید.
سه گام آن را کارآمد میکند:
- واحدسازی -- تبدیل به حروف کوچک، تقسیمبندی به کلمات، و حذف واژگان توقف کوچک مانند «the» و «is» که با همه چیز مطابقت دارند و معنایی ندارند.
re.findall(r"[a-z0-9]+", text.lower())سپس مجموعه واژگان متوقفکننده را فیلتر کنید. - وزندهی -- برای هر مقاله، بسامد واژه در ضرب با IDF، سپس نرمالسازی بردار به طول واحد تا مقالههای بلند و کوتاه بهطور منصفانه مقایسه شوند.
- امتیازدهی -- شباهت کسینوسی بین بردار پرسوجو و هر بردار مقاله. با بردارهای واحد، این فقط حاصل ضرب نقطهای است. مرتبسازی نزولی.
دو تابع بر روی فهرست مقالات بسازید:
index = build_index(docs) # precompute weights once
retrieve(query, index, k) # -> the ids of the top-k closest docsbuild_index(docs) ساختاری را که نیاز دارید بازمیگرداند (یک dict مناسب است). retrieve فهرستی از شاخصهای عددی در میان docsها را بازمیگرداند، بهترین تطابق در اولویت، حداکثر k از آنها. میتوانید از پایتون ساده و math، یا numpy، یا scikit-learn's TfidfVectorizer -- هر کدام را که انتخاب کنید، قرارداد یکسان است. حفظ کنید DOCS در سطح ماژول تعریف شده است تا ارزیاب بتواند نمایه شما را دوباره بسازد. دکمه Run را فشار دهید تا ببینید چند سؤال پشتیبانی چگونه به مقاله مناسب پاسخ داده میشوند.
یک بازیاب TF-IDF بر روی پایگاه دانش پشتیبانی هشتمقالهای بسازید. حفظ کنید DOCS در سطح ماژول. بنویسید build_index(docs) (واحدبندی با حذف واژگان متوقف، وزندهی به واژگان بر اساس tf*idf، نرمالسازی به بردارهای واحد) و retrieve(query, index, k) بازگرداندن شاخصهای k سند نزدیکتر بر اساس شباهت کسینوس، بهترین در اولویت، حداکثر k. پایتون ساده، numpy یا scikit-learn همگی کار میکنند.
مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید
این تمرین بهزودی باز میشود
درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و میتوانید همین الان این درس را بخوانید.
این مرورگر کوکیهای learn.floati.life را مسدود میکند، پس درسهایی که اینجا تمام کردید نمیتوانند به ترتیب باز شوند. کوکیها را برای این سایت مجاز کنید و صفحه را دوباره بارگذاری کنید.