قطعه قطعه کردن اسناد طولانی
بازتولید تقویتشده با بازیابی (RAG) روشی است که یک مدل عمومی را به دادههای شما متصل میکند: کتابچه سیاستها، دفترچه راهنمای محصول، تیکتهای پشتیبانی سهماهه گذشته. مدل هرگز هیچیک از این موارد را حفظ نکرده است، بنابراین هنگام پرسش، بخشهای مرتبط را بازیابی کرده و در ورودی مدل میچسبانید. کل این خط لوله تنها از پنج بخش صادق تشکیل شده است: اسناد را به قطعات تقسیم کنید، هر قطعه را امبد کنید، بردارها را ذخیره کنید، بهترین تطابقها را برای یک پرسوجو بازیابی کنید و یک پرامپت زمینهدار بسازید. شما در طول این ماژول هر پنج بخش را خواهید ساخت. مدلی که جمله نهایی را مینویسد میتواند WebLLM روی دستگاه در مرورگر شما باشد، اما هر مرحله از آن، پایتون ساده و قابل آزمایش است، که دقیقاً همان بخشی است که کارفرمایان به دنبال آن هستند.
مرحله اول، تقسیمبندی (chunking) است. یک سند ۴۰ صفحهای برای اینکه به عنوان یک بردار واحد ایمبد (embed) شود بسیار بزرگ است و برای اینکه در یک پرمپ (prompt) جا بگیرد نیز بسیار بزرگ است، بنابراین آن را به پنجرههای همپوشان تقسیم میکنید. چرا همپوشان؟ زیرا ممکن است واقعیتی که به آن نیاز دارید، در یک مرز سخت قرار گیرد. اگر برش را دقیقاً در کاراکتر ۵۰۰ انجام دهید و جمله «بازپرداختها پنج روز کاری طول میکشد» از ۴۹۵ تا ۵۱۵ را در بر بگیرد، هیچکدام از این بخشها کل پاسخ را شامل نمیشوند. کمی همپوشانی باعث میشود که همان جمله در هر دو بخش مجاور به طور کامل باقی بماند.
شکل آن: شما یک پنجره از size نقطه، یک پنجرهٔ متنی با عرض 200 کاراکتر را به جلو میراند. چرا همپوشانی؟ چون ممکن است واقعیتی که به آن نیاز دارید، از یک مرز سخت عبور کند.اگر step از size - overlap هر بار.
def chunk(text, size, overlap):
step = size - overlap
chunks = []
i = 0
while i < len(text):
chunks.append(text[i:i + size])
if i + size >= len(text):
break # this window already reached the end
i += step
return chunksآن break مهم است: بدون آن مدام از انتها عبور میکنید و یک تکهی کوچک مانند "g" بهعنوان آخرین «قطعه». متوقف شدن به محض رسیدن پنجره به انتها، آخرین قطعه را واقعی نگه میدارد.
چه چیزی باید ساخته شود. بنویسید chunk(text, size, overlap) بازگرداندن فهرستی از پنجرههای همپوشان. قوانینی که تستها بررسی میکنند:
- ورودیها را اعتبارسنجی کنید: raise
ValueErrorاگرsize <= 0، یا اگرoverlapمنفی است یا>= size(همپوشانی به این بزرگی هرگز پیشرفت نمیکند). - متن خالی یک لیست خالی برمیگرداند
[]. - آخرین
overlapکاراکترهای یک تکه با اولین کاراکترها برابر هستندoverlapحروف انتهایی یک بخش با حروف ابتدایی بخش بعدی برابر است. - پوشش کامل: دوخت
chunks[0]بهعلاوهchunks[i][overlap:]برای هر بخش بعدی متن اصلی را دقیقاً بازتولید میکند، بدون هیچ کاراکتر از دست رفته یا تکراری.
خطاهای آفباین-وان در اینجا رخ میدهند، پس دکمهٔ Run را فشار دهید و تماشا کنید که چگونه یک پاراگراف به پنجرههایی تقسیم میشود که میتوانید با چشم ببینید.
نوشتن chunk(text, size, overlap) که پنجرهای از size نوار را به جلو حرکت میدهد و فهرست پنجرهها را بازمیگرداند. size - overlap هر گام پنجره را به جلو میراند و فهرست پنجرهها را بازمیگرداند. بالا بیاور ValueError وقتی size <= 0 یا وقتی overlap منفی است یا >= size. بازگردانید [] برای متن خالی. به محض اینکه یک پنجره به انتهای متن برسد متوقف شوید (بنابراین آخرین بخش ممکن است کوتاهتر از size، و هرگز پنجره اضافیای وجود ندارد که فقط بخش تداخل را تکرار کند). بلوکهای مجاور باید دقیقاً اشتراک داشته باشند overlap نقطهٔ مشترک، و دوختن اولین قطعه با chunk[overlap:] از هر بخش بعدی باید متن اصلی را دوباره بسازد.
مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید
این تمرین بهزودی باز میشود
درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و میتوانید همین الان این درس را بخوانید.
این مرورگر کوکیهای learn.floati.life را مسدود میکند، پس درسهایی که اینجا تمام کردید نمیتوانند به ترتیب باز شوند. کوکیها را برای این سایت مجاز کنید و صفحه را دوباره بارگذاری کنید.