المنهج الدراسي الدرس 129 من 246 · الوحدة 11: الشبكات ذات الذاكرة (RNNs)
الوحدة 11: الشبكات ذات الذاكرة (RNNs)

بوابات LSTM، مبنية

لماذا هذا مهم قامت تقنية LSTM (عام 1997، مع إضافة بوابة النسيان التي تم تدريسها هنا في عام 2000) بحل مشكلة الذاكرة في RNN وقادت تقنيات التعرف على الكلام والترجمة لمدة عشرين عاما. خدعتها بسيطة بمجرد رؤيتها.

شاهده

قم بتشغيل الرسوم المتحركة. بالإضافة إلى الحالة المخفية h، تحتفظ وحدة LSTM بـ cell c، وهو حزام ناقل للذاكرة. تقرر ثلاث بوابات، كل منها sigmoid بين 0 و 1، ما يحدث له:

  • بوابة النسيان f: مقدار ما يجب الاحتفاظ به من الخلية القديمة;
  • بوابة الإدخال i: كم من المعلومات الجديدة g سيتم كتابتها في;
  • بوابة الإخراج o: كم من الخلية يجب إظهارها كـ h.
z = [x, h] @ W + b            # one matrix for all four parts
i, f, g, o = sigmoid, sigmoid, tanh, sigmoid of the four quarters of z
c = f * c + i * g
h = o * tanh(c)

السطر الأساسي هو c = f * c + i * g. بالعودة خطوة واحدة، يتم ضرب التدرج على الخلية في f، ولا شيء آخر: لا يوجد ضرب متكرر بمصفوفة أوزان. لا يزال ينكمش بمقدار f في كل خطوة، لذا بعد k من الخطوات يكون f مرفوعة للقوة k. مع f = 0.95 تكون القيمة 0.08 بعد 50 خطوة؛ ومع f = 0.999 تكون القيمة 0.95. لذا تتذكر LSTM لفترة طويلة عندما تبقى بوابات النسيان الخاصة بها قريبة جدا من 1، والدرس التالي يقيس مدى قرب القرب الكافي.

الكلمات والرموز في هذا الدرس
شبكة عصبية متكررة (RNN)
شبكة تقرأ خطوة واحدة في كل مرة وتحمل حالة مخفية للأمام
الحالة المخفية h
المتجه القصير من الأرقام الذي يحمله RNN من خطوة إلى أخرى
LSTM
an RNN مع خلية ذاكرة c وثلاث بوابات: forget، وinput، وoutput
دورك

اكتب lstm_step(x, h, c, W, b) الذي يعيد (h, c)، مع W بشكل (inputs + hidden, 4 * hidden) والأرباع الأربعة بالترتيب i، f، g، o. المدخلات مجمعة: x هي (batch, inputs)، و h و c هما (batch, hidden)، لذا ادمج x و h على طول axis 1.

هل لاحظت مشكلة في هذا الدرس؟ أبلغ عنها · اسأل عن هذا الدرس

سيفتح هذا التمرين قريبا

أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.