سرفصل‌ها درس 138 از 246 · ماژول 12: واژه‌ها به‌صورت اعداد (تعبیه‌ها)
ماژول 12: واژه‌ها به‌صورت اعداد (تعبیه‌ها)

یادگیری بردارهای واژه (skip-gram)

چرا مهم است شمارش یک جدول V در V لازم دارد که برای یک میلیون واژه ناممکن است. Word2vec به جای آن بردارهای کوتاه را مستقیماً با نزول گرادیان یاد می‌گیرد، و همان ایده، یادگیری بردارها با پیش‌بینی زمینه، درون هر مدل زبانی است.

Skip-gram با نمونه‌گیری منفی. هر واژه دو بردار دارد: v (به‌عنوان خودش) و u (به‌عنوان زمینهٔ کسی). برای یک جفت واقعی (یک واژه و واژه‌ای از جمله‌اش)، امتیاز v dot u را بالا ببرید؛ برای k واژهٔ «منفی» تصادفی، آن را پایین بیاورید:

loss = -log sigmoid(v . u_pos) - sum over negatives of log sigmoid(-v . u_neg)

گرادیان‌ها، با قاعدهٔ زنجیره‌ای

با p = sigmoid(v . u_pos) و q_k = sigmoid(v . u_neg_k):

  • dL/dv = (p - 1) u_pos + جمع روی k از q_k u_neg_k
  • dL/du_pos = (p - 1) v
  • dL/du_neg_k = q_k v

آن‌ها را بخوانید: اگر جفت واقعی از قبل امتیاز بالایی دارد، p نزدیک 1 است و تقریباً هیچ چیز تغییر نمی‌کند. اشتباه‌ها هل‌های بزرگ می‌سازند، دقیقاً مثل آنتروپی متقاطع.

دسته‌ای، با None

برای یک دسته، p شکل (B,) و u_pos شکل (B, d) دارد. برای مقیاس دادن هر ردیف u_pos با (p - 1) خودش، یک جهت اضافه کنید: (p - 1)[:, None] * u_pos، شکل (B, 1) ضرب در (B, d). برای منفی‌ها، q شکل (B, k) و v شکل (B, d) دارد؛ q[:, :, None] * v[:, None, :] آن‌ها را به‌صورت (B, k, 1) ضرب در (B, 1, d) هم‌تراز می‌کند و (B, k, d) می‌دهد: یک کپی مقیاس‌شده از v برای هر منفی. (درس شکل‌ها در ماژول پایتون None را معرفی کرد.)

واژه‌ها و نمادهای این درس
PPMI
اینکه دو واژه چقدر بیشتر از آنچه شانس می‌دهد به هم می‌رسند، با منفی‌ها برابر 0
skip-gram، نمونه‌گیری منفی
یادگیری بردارها با امتیاز بالا دادن به جفت‌های واقعی (واژه، زمینه) و امتیاز پایین به جفت‌های تصادفی
نوبت شما

sgns_grads(v, u_pos, u_neg) را برای یک دسته بنویسید: v و u_pos شکل (B, d) و u_neg شکل (B, k, d) دارند. (g_v, g_pos, g_neg) را با همان شکل‌ها برگردانید. حلقهٔ آموزش از آن استفاده می‌کند؛ سپس 72 قیاس باید دست‌کم 90% درست باشند.

مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید

این تمرین به‌زودی باز می‌شود

درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و می‌توانید همین الان این درس را بخوانید.