یکی میخواند، یکی مینویسد: گلوگاه
چرا مهم است ترجمه قبلاً اینطور کار میکرد: یک RNN جمله را در یک بردار تنها میخواند، دیگری خروجی را از آن مینویسد. آن یک بردار یک گلوگاه است و دیدن شکستش دلیل اختراع توجه (attention) است.
یک رمزگذار-رمزگشا: RNN رمزگذار ورودی را میخواند؛ حالت پنهان نهاییاش به RNN رمزگشا داده میشود که خروجی را هر بار یک نماد مینویسد و هر پاسخ را دوباره به خود میخوراند. هر چیزی که رمزگشا دربارهٔ ورودی میداند باید از همان یک بردار 48 عددی بگذرد.
آزمایش ثبتشدهٔ seq2seq-bottleneck چنین شبکههایی را آموزش داد تا دنبالهای از رقمها را وارونه بنویسند، برای طولهای 4، 8، 12 و 16، هر کدام با دو بذر. نسخهای با توجه را هم آموزش داد که در ماژول 13 با آن آشنا میشوید. فعلاً فقط به نسخههای ساده نگاه کنید.
پیشبینی منحنی: درستی رقم مدل ساده را در طول 16 پیشبینی کنید. شانس 10% است.
واژهها و نمادهای این درس
- شبکهٔ بازگشتی (RNN)
- شبکهای که هر بار یک گام میخواند و یک حالت پنهان را رو به جلو میبرد
- رمزگذار-رمزگشا
- یک RNN ورودی را در یک بردار میخواند، دیگری خروجی را از آن مینویسد
- گلوگاه
- تنها برداری که همه چیز باید از آن بگذرد
my_guess_16 را تنظیم کنید، سپس plain_acc را پر کنید: طول به میانگین درستی رقم دو اجرای ساده.
مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید
این تمرین بهزودی باز میشود
درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و میتوانید همین الان این درس را بخوانید.
این مرورگر کوکیهای learn.floati.life را مسدود میکند، پس درسهایی که اینجا تمام کردید نمیتوانند به ترتیب باز شوند. کوکیها را برای این سایت مجاز کنید و صفحه را دوباره بارگذاری کنید.