چه کسی به یاد میآورد؟ اجراهای ثبتشده
چرا مهم است کتاب درسی میگوید LSTMها به یاد میآورند و RNNهای ساده فراموش میکنند. دوره این را آزمود و پاسخ واقعی پیچشی دارد که ارزش دارد پیش از اینکه هرگز یکی را آموزش دهید بدانید.
آزمایش ثبتشدهٔ rnn-vs-lstm-memory: شبکه یکی از چهار نماد را میبیند، سپس فاصلهای از 5، 15، 30 یا 60 نماد دیگر که از همان الفبا کشیده شدهاند، و باید بگوید نماد اول چه بود. سه نوع شبکه، هر کدام با سه بذر:
- یک RNN سادهٔ tanh؛
- یک LSTM که دروازهٔ فراموشیاش با بایاس 1 شروع میکند (در آغاز در هر گام حدود 73% سلول را نگه میدارد)؛
- یک LSTM که دروازهٔ فراموشیاش با بایاس 3 شروع میکند (حدود 95%).
پیش از خواندن اجراها پیشبینی کنید: کدام نوع در فاصلهٔ 60 روی هر سه بذر موفق میشود؟
واژهها و نمادهای این درس
- شبکهٔ بازگشتی (RNN)
- شبکهای که هر بار یک گام میخواند و یک حالت پنهان را رو به جلو میبرد
- LSTM
- یک RNN با یک سلول حافظهٔ c و سه دروازه: فراموشی، ورودی، خروجی
my_prediction را برابر "rnn"، "lstm-forget-bias-1" یا "lstm-forget-bias-3" قرار دهید. سپس successes را پر کنید: (cell, gap) به اینکه چند تا از سه بذر به دستکم 95% درستی آزمون رسیدند، با استفاده از nnsim.recorded.
مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید
این تمرین بهزودی باز میشود
درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و میتوانید همین الان این درس را بخوانید.
این مرورگر کوکیهای learn.floati.life را مسدود میکند، پس درسهایی که اینجا تمام کردید نمیتوانند به ترتیب باز شوند. کوکیها را برای این سایت مجاز کنید و صفحه را دوباره بارگذاری کنید.