قطعات را جاسازی کنید
شما تکههایی از متن دارید. اما رتریور بهجای مقایسهٔ کلمات، بردارها را مقایسه میکند؛ بنابراین گام گمشده، امبدینگ است: تبدیل هر تکه به یک فهرست ثابتطول از اعداد بهگونهای که متنهای دارای محتوای مشابه در مختصات مشابه قرار گیرند. این همان «embed» وعدهدادهشده در خط لوله (chunk -> embed -> store -> retrieve -> prompt) است و این همان چیزی است که به VectorStore.add(id, text, vector) در درس بعدی.
سیستمهای تولید از یک مدل امبدینگ عصبی (OpenAI، Cohere، یک sentence-transformer) روی شبکه استفاده میکنند، اما قرارداد یکسان است و شما میتوانید یک امبدردار واقعی و تعیینکننده (deterministic) را بهصورت آفلاین بسازید تا آن را بیاموزید: یک بردار کیسه-واژگان. یک vocab (واژههایی که برایتان اهمیت دارد)، سپس یک قطعه متن را با این روش نشانهگذاری کنید که هر واژهٔ واژگان چند بار در آن ظاهر میشود.
vocab = ["cat", "dog", "fish"]
# "cat cat dog" -> [2, 1, 0] (two cats, one dog, no fish)یک گام دیگر این بردارها را برای جستجوی کسینوس قابل استفاده میکند: نرمالسازی L2 بردار (تقسیم آن بر طول خودش، np.linalg.norm). پس از آن، هر بردار طولی برابر با 1 خواهد داشت، بنابراین شباهت کسینوسی به یک حاصل ضرب نقطهای ساده تبدیل میشود و بخشهای طولانی دیگر صرفاً به دلیل داشتن کلمات بیشتر بر بخشهای کوتاه تسلط نخواهند داشت. بخشی که هیچیک از کلمات واژگان را در خود ندارد، چیزی برای نرمالسازی ندارد، بنابراین آن بردار کاملاً صفر را همانطور که هست باقی بگذارید (هرگز بر صفر تقسیم نکنید).
دو تابع بسازید.
build_vocab(chunks)-> لیست مرتبشدهٔ واژههای یکتا در تمام تکهها. هر تکه را باtext.lower().split()(حروف کوچک، جداشده با فاصله)embed(text, vocab)-> یک آرایهٔ شناور numpy به طولlen(vocab): تعداد هر واژهٔ واژگان درtext(با همان توکنایزر)، سپس نرمالسازی L2 شده است. اگر همهٔ شمارشها صفر باشند، بردار صفر را بدون تغییر بازگردانید.
دکمه Run را فشار دهید تا چند بخش را ایمبد کنید و تأیید کنید که نقاط متنی مرتبط نیز به همین شکل اشاره میکنند.
نوشتن build_vocab(chunks) بازگرداندن واژههای منحصربهفرد مرتبشده در تمام بخشها (واژهبندی با text.lower().split())، و embed(text, vocab) بازگرداندن یک آرایهٔ شناور numpy به طول len(vocab) نگهداری تعداد هر واژهٔ واژگان در text (همان توکنایزر)، نرمالشده با L2 با np.linalg.norm. اگر همهٔ شمارشها صفر باشند، بردار تمام صفرها را بدون تغییر بازگردانید (از تقسیم بر صفر خودداری کنید).
مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید
این تمرین بهزودی باز میشود
درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و میتوانید همین الان این درس را بخوانید.
این مرورگر کوکیهای learn.floati.life را مسدود میکند، پس درسهایی که اینجا تمام کردید نمیتوانند به ترتیب باز شوند. کوکیها را برای این سایت مجاز کنید و صفحه را دوباره بارگذاری کنید.