سرفصل‌ها درس 128 از 246 · ماژول 11: شبکه‌هایی با حافظه (RNNها)
ماژول 11: شبکه‌هایی با حافظه (RNNها)

گرادیان‌های محوشونده و انفجاری، سنجیده‌شده

چرا مهم است همین حالا دیدید که گرادیان یک گام اولیه در هر گام یک بار در w ضرب می‌شود. با گام‌های بسیار، آن حاصل‌ضرب یا به هیچ کوچک می‌شود یا منفجر می‌شود. این ضعف اصلی RNNهای ساده است.

با یک ماتریس وزن W به جای یک عدد، یک گام به عقب رفتن گرادیان را در W ترانهاده ضرب می‌کند (با نادیده گرفتن tanh که فقط می‌تواند بیشتر کوچکش کند). یک گام می‌تواند یک بردار را حداکثر به اندازهٔ بزرگ‌ترین کشش W، یعنی نُرم طیفی آن، بزرگ کند. در طول گام‌های بسیار آنچه اهمیت دارد شعاع طیفی است، اندازهٔ بزرگ‌ترین مقدار ویژهٔ W (ماژول 2، «پراکندگی چگونه جمع می‌شود، و یک ماتریس چه چیزی را می‌کشد»): پس از k گام اندازه تقریباً به اندازهٔ r به توان k تغییر کرده است. (برای چرخش‌هایی که در زیر به کار رفته، این دو همان عدد r هستند.) r = 0.9 در 50 گام: 0.005. r = 1.1 در 50 گام: 117.

دو درمان متفاوت

گرادیان‌های انفجاری درمانی خام دارند: بریدنشان (ماژول 5). گرادیان‌های محوشونده چنین درمانی ندارند. گرادیان کل یک وزن جمعی روی هر فاصله به عقب در زمان است؛ وقتی جمله‌های دوربرد مثل 0.9 به توان 50 کوچک می‌شوند، زیر جمله‌های کوتاه‌برد غرق می‌شوند و بزرگ کردن کل جمع نویز را هم با آن‌ها بزرگ می‌کند. شبکه صرفاً نمی‌تواند بفهمد چیزی در دوردست مهم بوده است. درمان آنجا یک معماری متفاوت است: LSTM، در ادامه.

واژه‌ها و نمادهای این درس
شبکهٔ بازگشتی (RNN)
شبکه‌ای که هر بار یک گام می‌خواند و یک حالت پنهان را رو به جلو می‌برد
گرادیان محوشونده / انفجاری
گرادیانی که بارها در همان ماتریس ضرب می‌شود به هیچ کوچک می‌شود یا منفجر می‌شود
LSTM
یک RNN با یک سلول حافظهٔ c و سه دروازه: فراموشی، ورودی، خروجی
نوبت شما

gradient_sizes(W, steps) را بنویسید: از یک گرادیان از یک‌ها شروع کنید، در هر گام یک بار در W.T ضرب کنید و فهرست نُرم‌ها (یکی برای هر گام) را برگردانید. سپس verdicts را برای سه ماتریس، بر اساس نُرم پس از 50 گام (زیر 0.01، میان 0.01 و 100، بالای 100)، برابر "vanish"، "steady" یا "explode" قرار دهید.

مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید

این تمرین به‌زودی باز می‌شود

درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و می‌توانید همین الان این درس را بخوانید.