یادگیری بردارهای واژه (skip-gram)
چرا مهم است شمارش یک جدول V در V لازم دارد که برای یک میلیون واژه ناممکن است. Word2vec به جای آن بردارهای کوتاه را مستقیماً با نزول گرادیان یاد میگیرد، و همان ایده، یادگیری بردارها با پیشبینی زمینه، درون هر مدل زبانی است.
Skip-gram با نمونهگیری منفی. هر واژه دو بردار دارد: v (بهعنوان خودش) و u (بهعنوان زمینهٔ کسی). برای یک جفت واقعی (یک واژه و واژهای از جملهاش)، امتیاز v dot u را بالا ببرید؛ برای k واژهٔ «منفی» تصادفی، آن را پایین بیاورید:
loss = -log sigmoid(v . u_pos) - sum over negatives of log sigmoid(-v . u_neg)
گرادیانها، با قاعدهٔ زنجیرهای
با p = sigmoid(v . u_pos) و q_k = sigmoid(v . u_neg_k):
- dL/dv = (p - 1) u_pos + جمع روی k از q_k u_neg_k
- dL/du_pos = (p - 1) v
- dL/du_neg_k = q_k v
آنها را بخوانید: اگر جفت واقعی از قبل امتیاز بالایی دارد، p نزدیک 1 است و تقریباً هیچ چیز تغییر نمیکند. اشتباهها هلهای بزرگ میسازند، دقیقاً مثل آنتروپی متقاطع.
دستهای، با None
برای یک دسته، p شکل (B,) و u_pos شکل (B, d) دارد. برای مقیاس دادن هر ردیف u_pos با (p - 1) خودش، یک جهت اضافه کنید: (p - 1)[:, None] * u_pos، شکل (B, 1) ضرب در (B, d). برای منفیها، q شکل (B, k) و v شکل (B, d) دارد؛ q[:, :, None] * v[:, None, :] آنها را بهصورت (B, k, 1) ضرب در (B, 1, d) همتراز میکند و (B, k, d) میدهد: یک کپی مقیاسشده از v برای هر منفی. (درس شکلها در ماژول پایتون None را معرفی کرد.)
واژهها و نمادهای این درس
- PPMI
- اینکه دو واژه چقدر بیشتر از آنچه شانس میدهد به هم میرسند، با منفیها برابر 0
- skip-gram، نمونهگیری منفی
- یادگیری بردارها با امتیاز بالا دادن به جفتهای واقعی (واژه، زمینه) و امتیاز پایین به جفتهای تصادفی
sgns_grads(v, u_pos, u_neg) را برای یک دسته بنویسید: v و u_pos شکل (B, d) و u_neg شکل (B, k, d) دارند. (g_v, g_pos, g_neg) را با همان شکلها برگردانید. حلقهٔ آموزش از آن استفاده میکند؛ سپس 72 قیاس باید دستکم 90% درست باشند.
مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید
این تمرین بهزودی باز میشود
درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و میتوانید همین الان این درس را بخوانید.
این مرورگر کوکیهای learn.floati.life را مسدود میکند، پس درسهایی که اینجا تمام کردید نمیتوانند به ترتیب باز شوند. کوکیها را برای این سایت مجاز کنید و صفحه را دوباره بارگذاری کنید.