سرفصل‌ها درس 139 از 246 · ماژول 12: واژه‌ها به‌صورت اعداد (تعبیه‌ها)
ماژول 12: واژه‌ها به‌صورت اعداد (تعبیه‌ها)

بردارها داده‌شان را کپی می‌کنند، کجی‌ها هم

چرا مهم است تعبیه‌ها هر الگویی را که متن دارد یاد می‌گیرند، از جمله الگوهایی که هیچ‌کس نمی‌خواهد. بردارهای واژه‌ای که روی اخبار واقعی آموزش دیده‌اند بعضی شغل‌ها را به «she» و بعضی را به «he» نزدیک‌تر می‌گذارند. می‌توانید آن را بسنجید و باید بسنجید.

یک جهت جنسیت از جفت‌هایی که فقط در جنسیت فرق دارند بسازید: queen منهای king، woman منهای man، princess منهای prince، girl منهای boy، جمع‌شده و به طول 1 مقیاس‌شده. جایگاه یک واژه در طول آن، بردار (واحد) آن ضرب داخلی در جهت است: مثبت به سوی «she» و منفی به سوی «he» متمایل است.

دنیای اسباب‌بازی می‌تواند یک کجی اضافه کند: با کجی 0.4، جمله‌های nurse در 90% مواقع «she» و جمله‌های engineer در 90% مواقع «he» می‌گویند. doctorها و teacherها 50:50 می‌مانند. هیچ چیز دیگری تغییر نمی‌کند.

حذف آن، و نکتهٔ ظریف

می‌توانید مؤلفهٔ هر شغل در طول جهت را کم کنید، که جایگاهش را دقیقاً 0 می‌کند. در این دنیای اسباب‌بازی این تقریباً کاملاً کار می‌کند: با سنجش پس از حذف، nurse و engineer تقریباً به یک اندازه به «she» و «he» نزدیک‌اند (کسینوس‌های 0.114 و 0.118 در هر دو سو). دلیلش این است که اینجا کجی در یک واژه، یعنی ضمیر، زندگی می‌کند. روی بردارهای واژه‌ای که روی متن واقعی آموزش دیده‌اند، پژوهشگران برعکس را یافتند: کجی میان هزاران واژه پخش شده که یک جهت نمی‌تواند بگیردشان، پس پس از حذف همسایه‌های یک شغل هنوز لوش می‌دهند. پس یک خوانش تمیز خط‌کش اثباتی بر رفتن کجی نیست و راه‌حل صادقانه با داده شروع می‌شود.

واژه‌ها و نمادهای این درس
تعبیه
ردیف اعداد یادگرفته‌شده‌ای که نمایندهٔ یک نماد است
پنجره
چند واژه در هر طرف به‌عنوان همنشینان یک واژه حساب می‌شوند
PPMI
اینکه دو واژه چقدر بیشتر از آنچه شانس می‌دهد به هم می‌رسند، با منفی‌ها برابر 0
دنیای اسباب‌بازی
متنی ساختگی با ساختاری کاشته‌شده، تا پاسخ‌های درست معلوم باشند
کجی
الگویی نامتوازن در داده که بردارها از آن کپی می‌کنند
نوبت شما

gender_direction(X) و position(X, word, g) را بنویسید. هر دو روی بردارهای واحد کار می‌کنند: اول بردار هر واژه را بر طولش تقسیم کنید، سپس چهار تفاوت (queen منهای king، woman منهای man، princess منهای prince، girl منهای boy) را بگیرید، جمعشان بزنید و جمع را به طول 1 مقیاس دهید. یک جایگاه بردار واحد واژه ضرب داخلی در g است. pos را پر کنید: کجی (0.0 و 0.4) به دیکشنری‌ای از جایگاه‌های چهار شغل، با استفاده از بردارهای شمارش با کل جمله به‌عنوان پنجره. سپس remove(x, g) را بنویسید که مؤلفه در طول g را بیرون می‌کشد.

مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید

این تمرین به‌زودی باز می‌شود

درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و می‌توانید همین الان این درس را بخوانید.