یک تعبیه یک جستوجوست، و یک جستوجو یک ضرب است
چرا مهم است یک شبکه فقط حساب انجام میدهد، اما متن از نمادها ساخته شده است. هر مدل زبانی با تبدیل هر نماد به فهرستی کوتاه از اعداد، یعنی تعبیهی آن، شروع میکند.
به هر نماد عددی از 0 تا V منهای 1 (شناسهاش) بدهید. جدول تعبیهٔ E برای هر نماد یک ردیف دارد، هر کدام d عدد. تبدیل یک شناسه به اعداد صرفاً خواندن ردیفش است: E[id].
چرا همچنان یک لایه است
شناسه را بهصورت یک بردار one-hot بنویسید: V صفر با یک 1 تنها در جایگاه id. آنگاه one-hot ضرب در E دقیقاً همان ردیف را برمیدارد. پس یک تعبیه یک لایهٔ خطی است که ورودیاش اتفاقاً one-hot است. به جای آن جستوجو میکنیم چون از V ضرب در d ضرب در صفر میگذرد.
همچنین به شما میگوید چگونه آموزش میبیند: گرادیان فقط به ردیفهایی میرسد که به کار رفتهاند. نمادی که هرگز در یک دسته نمیآید ردیفش را بدون تغییر نگه میدارد.
اعداد کوچک
V = 3، d = 2، E = [[1, 2], [3, 4], [5, 6]]. id 1 بهصورت one-hot برابر [0, 1, 0] است، و [0, 1, 0] ضرب در E = [3, 4]، همان E[1].
واژهها و نمادهای این درس
- تعبیه
- ردیف اعداد یادگرفتهشدهای که نمایندهٔ یک نماد است
- one-hot
- V صفر با یک 1 تنها؛ ضرب در جدول، یک ردیف را برمیگزیند
onehot(ids, V) را بنویسید که آرایهای با شکل (len(ids), V) برمیگرداند. سپس rows_with_gradient را برابر تعداد ردیفهایی از جدول تعبیه قرار دهید که پس از گذر رو به عقب نشاندادهشده گرادیان غیرصفر میگیرند.
مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید
این تمرین بهزودی باز میشود
درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و میتوانید همین الان این درس را بخوانید.
این مرورگر کوکیهای learn.floati.life را مسدود میکند، پس درسهایی که اینجا تمام کردید نمیتوانند به ترتیب باز شوند. کوکیها را برای این سایت مجاز کنید و صفحه را دوباره بارگذاری کنید.