درک امبدینگ (امبدر شبیهسازیشدهی تعیینگرا)
کیسهٔ واژگان یک نقطهٔ کور مرگبار دارد: "dog" و "puppy" واژههای متفاوتی هستند، بنابراین بردارهای شمارش آنها هیچ اشتراکاتی ندارند و کسینوس آنها برابر صفر است، هرچند تقریباً معنای یکسانی دارند. واقعی جاسازیها این مشکل را با قرار دادن واژهها (یا جملات کامل) در یک فضای برداری حل کنید، جایی که عناصر با کاربردهای مشابه در کنار هم قرار میگیرند. ایدهٔ راهنما این است که فرضیهی توزیعیک واژه از طریق جمعی که با آن همراه است شناخته میشود. واژههایی که در زمینههای مشابه ظاهر میشوند، بردارهای مشابهی پیدا میکنند.
امبدینگهای تولید از یک شبکه عصبی آموزشدیده (Sentence-Transformers) یا یک API میزبانیشده بهدست میآیند. ما نمیتوانیم آنها را اینجا اجرا کنیم: در این sandbox نه GPU وجود دارد و نه شبکه. بنابراین شما یک جاسازکنندهٔ شبیهسازی deterministic که ثبت میکند هندسه از نمونه واقعی بدون وزنهٔ آموزشی. این دستگاه در مورد محدودیتهایش صادق است و برای یادگیری مکانیزم عالی است.
ترفند یک بردار همروییبا در اختیار داشتن یک مجموعهٔ کوچک و گزینششده، امبدینگ یک واژه عبارت است از شمارش واژههای دیگری که در همان اسناد همراه آن ظاهر میشوند. اگر dog و puppy هر دو با هم رفتوآمد دارند park, runsو nap, بردارهای زمینهٔ آنها همراستا میشوند و ضریب کوشی بالا است. invoice با ... معاشرت میکند pay و due بلکه به جای آن، به جای دیگری اشاره میکند.
در متنی که همراه این درس ارسال شده است، نتیجه ملموس است:
cosine(embed("dog"), embed("puppy")) # high, around 0.9
cosine(embed("dog"), embed("invoice")) # low, around 0.37آن نابرابری cosine(dog, puppy) > cosine(dog, invoice)، کل هدف از تعبیرات است که در یک خط بیان شده است.
برای مقایسه، این چیزی است که یک تماس واقعی به نظر میرسد (اینجا اجرا نخواهد شد، فقط برای زمینه نشان داده شده است):
# real embeddings, requires a model download and is NOT used in grading
from sentence_transformers import SentenceTransformer
model = SentenceTransformer("all-MiniLM-L6-v2")
vec = model.encode("a happy dog") # 384-dim learned vectorساخت embed(word, corpus, vocab) که بردار همرخدادی یک واژه را بازمیگرداند: یک فهرست با طول ثابت (یک جایگاه برای هر واژهٔ واژگان) که در آن جایگاه j میشمارد چند بار کلمهٔ واژگان j در تمام اسنادِ مجموعه دادهای که کلمهٔ هدف را دربردارند، با کلمهٔ هدف همرخداد میشود. کلمهٔ هدف را علیه خودش حساب نکنید. یک کلمهٔ یکسان همیشه همان بردار را بازمیگرداند.
نوشتن embed(word, corpus, vocab)، یک امبدری شبیهسازیشدهٔ تعیینگرا. برای واژهٔ دادهشده، هر سند را در corpus (هر یک یک رشتهٔ کوچکنویس). در اسنادی که کلمه را در خود دارند، سایر کلمات (به جز خود کلمهٔ هدف) را در یک بردار به طول واژگان بشمارید و آن را به صورت یک لیست در vocab ترتیب. نتیجه یک بردار زمینه همرخدادی است: واژههایی که در زمینههای مشابه استفاده میشوند، بردارهای مشابهی دریافت میکنند، بنابراین در کلکسیون درسی cosine(embed("dog"), embed("puppy")) > cosine(embed("dog"), embed("invoice")). همان واژه همیشه همان بردار را تولید میکند و طول آن همیشه برابر است با len(vocab). starter's را حفظ کنید CORPUS و VOCAB همانطور که هستند: چک آنها را میخواند.
مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید
این تمرین بهزودی باز میشود
درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و میتوانید همین الان این درس را بخوانید.
این مرورگر کوکیهای learn.floati.life را مسدود میکند، پس درسهایی که اینجا تمام کردید نمیتوانند به ترتیب باز شوند. کوکیها را برای این سایت مجاز کنید و صفحه را دوباره بارگذاری کنید.