سرفصل‌ها درس 132 از 246 · ماژول 11: شبکه‌هایی با حافظه (RNNها)
ماژول 11: شبکه‌هایی با حافظه (RNNها)

یکی می‌خواند، یکی می‌نویسد: گلوگاه

چرا مهم است ترجمه قبلاً این‌طور کار می‌کرد: یک RNN جمله را در یک بردار تنها می‌خواند، دیگری خروجی را از آن می‌نویسد. آن یک بردار یک گلوگاه است و دیدن شکستش دلیل اختراع توجه (attention) است.

یک رمزگذار-رمزگشا: RNN رمزگذار ورودی را می‌خواند؛ حالت پنهان نهایی‌اش به RNN رمزگشا داده می‌شود که خروجی را هر بار یک نماد می‌نویسد و هر پاسخ را دوباره به خود می‌خوراند. هر چیزی که رمزگشا دربارهٔ ورودی می‌داند باید از همان یک بردار 48 عددی بگذرد.

آزمایش ثبت‌شدهٔ seq2seq-bottleneck چنین شبکه‌هایی را آموزش داد تا دنباله‌ای از رقم‌ها را وارونه بنویسند، برای طول‌های 4، 8، 12 و 16، هر کدام با دو بذر. نسخه‌ای با توجه را هم آموزش داد که در ماژول 13 با آن آشنا می‌شوید. فعلاً فقط به نسخه‌های ساده نگاه کنید.

پیش‌بینی منحنی: درستی رقم مدل ساده را در طول 16 پیش‌بینی کنید. شانس 10% است.

واژه‌ها و نمادهای این درس
شبکهٔ بازگشتی (RNN)
شبکه‌ای که هر بار یک گام می‌خواند و یک حالت پنهان را رو به جلو می‌برد
رمزگذار-رمزگشا
یک RNN ورودی را در یک بردار می‌خواند، دیگری خروجی را از آن می‌نویسد
گلوگاه
تنها برداری که همه چیز باید از آن بگذرد
نوبت شما

my_guess_16 را تنظیم کنید، سپس plain_acc را پر کنید: طول به میانگین درستی رقم دو اجرای ساده.

مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید

این تمرین به‌زودی باز می‌شود

درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و می‌توانید همین الان این درس را بخوانید.