دروازههای LSTM، ساختهشده
چرا مهم است LSTM (1997، با دروازهٔ فراموشیای که اینجا آموزش داده میشود و در 2000 اضافه شد) مشکل حافظهٔ RNN را درست کرد و بیست سال پشتوانهٔ بازشناسی گفتار و ترجمه بود. وقتی ببینیدش ترفندش ساده است.
آن را ببینید
پویانمایی را پخش کنید. یک LSTM افزون بر حالت پنهان h، یک سلول c، یک نوار نقاله از حافظه، نگه میدارد. سه دروازه، هر کدام یک sigmoid میان 0 و 1، تعیین میکنند چه بر سر آن بیاید:
- دروازهٔ فراموشی f: چه مقدار از سلول قدیمی نگه داشته شود؛
- دروازهٔ ورودی i: چه مقدار اطلاعات تازهٔ g نوشته شود؛
- دروازهٔ خروجی o: چه مقدار از سلول بهصورت h نشان داده شود.
z = [x, h] @ W + b # one matrix for all four parts
i, f, g, o = sigmoid, sigmoid, tanh, sigmoid of the four quarters of z
c = f * c + i * g
h = o * tanh(c)
خط کلیدی c = f * c + i * g است. با یک گام به عقب رفتن، گرادیان روی سلول در f ضرب میشود، و هیچ چیز دیگر: هیچ ضرب تکراری در یک ماتریس وزن. همچنان در هر گام به اندازهٔ f کوچک میشود، پس پس از k گام f به توان k است. با f = 0.95 پس از 50 گام 0.08 است؛ با f = 0.999 برابر 0.95 است. پس یک LSTM وقتی دروازههای فراموشیاش بسیار نزدیک 1 بمانند دور را به یاد میآورد، و درس بعد میسنجد چقدر نزدیک کافی است.
واژهها و نمادهای این درس
- شبکهٔ بازگشتی (RNN)
- شبکهای که هر بار یک گام میخواند و یک حالت پنهان را رو به جلو میبرد
- حالت پنهان h
- بردار کوتاهی از اعداد که یک RNN از گامی به گام دیگر میبرد
- LSTM
- یک RNN با یک سلول حافظهٔ c و سه دروازه: فراموشی، ورودی، خروجی
lstm_step(x, h, c, W, b) را بنویسید که (h, c) را برمیگرداند، با W به شکل (inputs + hidden, 4 * hidden) و چهار ربع به ترتیب i، f، g، o. ورودیها دستهایاند: x برابر (batch, inputs)، h و c برابر (batch, hidden) هستند، پس x و h را در طول axis 1 به هم بچسبانید.
مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید
این تمرین بهزودی باز میشود
درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و میتوانید همین الان این درس را بخوانید.
این مرورگر کوکیهای learn.floati.life را مسدود میکند، پس درسهایی که اینجا تمام کردید نمیتوانند به ترتیب باز شوند. کوکیها را برای این سایت مجاز کنید و صفحه را دوباره بارگذاری کنید.