سرفصل‌ها درس 127 از 246 · ماژول 11: شبکه‌هایی با حافظه (RNNها)
ماژول 11: شبکه‌هایی با حافظه (RNNها)

پس‌انتشار در طول زمان همان پس‌انتشار معمولی است

چرا مهم است «پس‌انتشار در طول زمان» شبیه الگوریتمی تازه به نظر می‌رسد. نیست: حلقه را باز کنید و پس‌انتشار روی یک شبکهٔ عمیق است که لایه‌هایش یک مجموعه وزن را به اشتراک می‌گذارند.

آن را ببینید

پویانمایی را پخش کنید. سه گام یک RNN، کنار هم رسم‌شده، سه لایه‌اند. همان وزن w در هر کدام ظاهر می‌شود. در رو به عقب، گرادیان w از هر کپی یک سهم جمع می‌کند، دقیقاً مثل گره‌ای که چند بار در موتور ماژول 4 شما به کار رفته.

اعداد کوچک

یک RNN خطی یک‌عددی: h_t = w h_(t-1) + x_t، با شروع از h_0 = 0، با loss = h_3. ورودی‌های 1، 2، 3 و w = 0.5: h1 = 1، h2 = 2.5، h3 = 4.25. dL/dh3 = 1. با بازگشت، dL/dh2 = w = 0.5 و dL/dh1 = w به توان دو = 0.25. هر کپی w سهم (گرادیان در خروجی‌اش) ضرب در (hی که در آن ضرب شد) را می‌دهد: 1 ضرب در h2 + 0.5 ضرب در h1 + 0.25 ضرب در h0 = 2.5 + 0.5 + 0 = 3.0.

BPTT: پس‌انتشار در طول زمان؛ گام‌ها را باز کنید و پس‌انتشار دهید، با جمع گرادیان هر گامی که یک وزن را به اشتراک می‌گذارد.

واژه‌ها و نمادهای این درس
شبکهٔ بازگشتی (RNN)
شبکه‌ای که هر بار یک گام می‌خواند و یک حالت پنهان را رو به جلو می‌برد
پس‌انتشار در طول زمان (BPTT)
گام‌ها را باز کنید و پس‌انتشار دهید، با جمع گرادیان هر گامی که یک وزن را به اشتراک می‌گذارد
نوبت شما

برای RNN یک‌عددی h_t = w * h_(t-1) + x_t با h_0 = 0 و زیان h_T (آخرین حالت)، bptt(xs, w) را بنویسید که با پیمودن رو به عقب گام‌ها dL/dw را برمی‌گرداند.

مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید

این تمرین به‌زودی باز می‌شود

درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و می‌توانید همین الان این درس را بخوانید.