سرفصل‌ها درس 130 از 246 · ماژول 11: شبکه‌هایی با حافظه (RNNها)
ماژول 11: شبکه‌هایی با حافظه (RNNها)

چه کسی به یاد می‌آورد؟ اجراهای ثبت‌شده

چرا مهم است کتاب درسی می‌گوید LSTMها به یاد می‌آورند و RNNهای ساده فراموش می‌کنند. دوره این را آزمود و پاسخ واقعی پیچشی دارد که ارزش دارد پیش از اینکه هرگز یکی را آموزش دهید بدانید.

آزمایش ثبت‌شدهٔ rnn-vs-lstm-memory: شبکه یکی از چهار نماد را می‌بیند، سپس فاصله‌ای از 5، 15، 30 یا 60 نماد دیگر که از همان الفبا کشیده شده‌اند، و باید بگوید نماد اول چه بود. سه نوع شبکه، هر کدام با سه بذر:

  • یک RNN سادهٔ tanh؛
  • یک LSTM که دروازهٔ فراموشی‌اش با بایاس 1 شروع می‌کند (در آغاز در هر گام حدود 73% سلول را نگه می‌دارد)؛
  • یک LSTM که دروازهٔ فراموشی‌اش با بایاس 3 شروع می‌کند (حدود 95%).

پیش از خواندن اجراها پیش‌بینی کنید: کدام نوع در فاصلهٔ 60 روی هر سه بذر موفق می‌شود؟

واژه‌ها و نمادهای این درس
شبکهٔ بازگشتی (RNN)
شبکه‌ای که هر بار یک گام می‌خواند و یک حالت پنهان را رو به جلو می‌برد
LSTM
یک RNN با یک سلول حافظهٔ c و سه دروازه: فراموشی، ورودی، خروجی
نوبت شما

my_prediction را برابر "rnn"، "lstm-forget-bias-1" یا "lstm-forget-bias-3" قرار دهید. سپس successes را پر کنید: (cell, gap) به اینکه چند تا از سه بذر به دست‌کم 95% درستی آزمون رسیدند، با استفاده از nnsim.recorded.

مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید

این تمرین به‌زودی باز می‌شود

درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و می‌توانید همین الان این درس را بخوانید.