سرفصل‌ها درس 125 از 246 · ماژول 11: شبکه‌هایی با حافظه (RNNها)
ماژول 11: شبکه‌هایی با حافظه (RNNها)

دنباله‌ها و حالت

چرا مهم است متن، گفتار، قیمت‌ها و خوانش‌های حسگر هر بار یک گام می‌رسند و آنچه پیش‌تر آمده آنچه بعد می‌آید را تغییر می‌دهد. یک شبکهٔ بازگشتی خلاصه‌ای جاری را رو به جلو می‌برد.

یک شبکهٔ عصبی بازگشتی (RNN) یک حالت پنهان h، یک بردار کوتاه، نگه می‌دارد. در هر گام ورودی تازه را با حالت قدیمی می‌آمیزد و نتیجه را می‌فشارد:

h = tanh(x_t @ Wx + h @ Wh + b)

همان وزن‌ها در هر گام به کار می‌روند، درست همان‌طور که یک CNN فیلترش را در هر جایگاه دوباره به کار می‌برد. h نهایی به همهٔ چیزهایی که شبکه خوانده بستگی دارد، پس حافظه‌ای (با اتلاف) از کل دنباله است.

اعداد کوچک

یک عدد ورودی، یک عدد پنهان، Wx = 1، Wh = 0.5، b = 0، h از 0 شروع می‌کند. با خواندن 1 و سپس 0: h = tanh(1) = 0.76، سپس h = tanh(0 + 0.38) = 0.36. ورودی اول پس از گام دوم هنوز در حالت دیده می‌شود، در حال کم‌رنگ شدن.

حالت پنهان: برداری که یک RNN از گامی به گام دیگر می‌برد. بازگشتی: خوراندن خروجی خودش به‌عنوان ورودی.

واژه‌ها و نمادهای این درس
شبکهٔ بازگشتی (RNN)
شبکه‌ای که هر بار یک گام می‌خواند و یک حالت پنهان را رو به جلو می‌برد
نوبت شما

rnn_forward(xs, Wx, Wh, b) را بنویسید: xs شکل (steps, input size) دارد؛ از یک حالت صفر شروع کنید و فهرست حالت‌های پنهان پس از هر گام را برگردانید.

مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید

این تمرین به‌زودی باز می‌شود

درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و می‌توانید همین الان این درس را بخوانید.