سرفصل‌ها درس 143 از 246 · ماژول 13: توجه و ترنسفورمرها
ماژول 13: توجه و ترنسفورمرها

توجه گلوگاه را درست می‌کند

چرا مهم است توجه در 2014 اختراع شد تا دقیقاً مشکلی را که در ماژول 11 سنجیدید درست کند: رمزگذاری که کل یک جمله را در یک بردار می‌فشارد.

در آزمایش ثبت‌شدهٔ seq2seq-bottleneck، رمزگشای مدل توجه در هر گام روی همهٔ حالت‌های پنهان رمزگذار توجه می‌کند (پرس‌وجویش حالت خود رمزگشاست). دیگر به یک بردار نهایی وابسته نیست؛ می‌تواند مستقیماً به رقمی که لازم دارد برگردد و نگاه کند.

پیش‌بینی کنید: در طول 16، جایی که مدل ساده حدود 59% رقم‌ها را درست گرفت، مدل توجه چه می‌گیرد؟

واژه‌ها و نمادهای این درس
پرس‌وجو، کلید، مقدار
آنچه یک جایگاه دنبالش است؛ آنچه هر جایگاه برای جور شدن عرضه می‌کند؛ آنچه تحویل می‌دهد
توجه
softmax امتیازهای پرس‌وجو-کلید، که برای میانگین گرفتن مقدارها به کار می‌رود
نوبت شما

my_guess را برابر عددی میان 0 و 1 قرار دهید: حدس شما برای درستی رقم مدل توجه در طول 16. acc را پر کنید: (model, length) به میانگین درستی رقم دو بذر، برای هر دو مدل و هر چهار طول، و gain_at_16 را.

مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید

این تمرین به‌زودی باز می‌شود

درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و می‌توانید همین الان این درس را بخوانید.