LSTM のゲートを作る
なぜ大切か LSTM(1997 年、ここで教える忘却ゲートは 2000 年に加えられた)は RNN の記憶の問題を直し、20 年のあいだ音声認識と翻訳を支えました。その仕掛けは、一度見れば単純です。
見てみる
アニメーションを再生してください。隠れ状態 h のほかに、LSTM は記憶のベルトコンベアである セル c を保ちます。それぞれ 0 と 1 の間のシグモイドである 3 つのゲートが、それに何が起きるかを決めます:
- 忘却ゲート f:古いセルをどれだけ残すか。
- 入力ゲート i:新しい情報 g をどれだけ書き込むか。
- 出力ゲート o:セルのどれだけを h として見せるか。
z = [x, h] @ W + b # one matrix for all four parts
i, f, g, o = sigmoid, sigmoid, tanh, sigmoid of the four quarters of z
c = f * c + i * g
h = o * tanh(c)
鍵の行は c = f * c + i * g です。一歩戻ると、セルの勾配には f が掛けられ、ほかには何もありません:重みの行列での繰り返しの掛け算はありません。それでも一歩ごとに f だけ縮むので、k 歩のあとには f の k 乗です。f = 0.95 なら 50 歩のあとに 0.08、f = 0.999 なら 0.95。なので LSTM は忘却ゲートが 1 にとても近いままのとき遠くまで覚えていて、次のレッスンはどれだけ近ければ十分かを測ります。
このレッスンの言葉と記号
- 再帰型ネットワーク(RNN)
- 一度に一歩ずつ読み、隠れ状態を前へ運ぶネットワーク
- 隠れ状態 h
- RNN が一歩から一歩へ運ぶ短い数のベクトル
- LSTM
- 記憶のセル c と 3 つのゲート(忘却、入力、出力)を持つ RNN
W が形 (inputs + hidden, 4 * hidden) で、4 つの四半分が i、f、g、o の順の、(h, c) を返す lstm_step(x, h, c, W, b) を書いてください。入力はバッチになっています:x は (batch, inputs)、h と c は (batch, hidden) なので、x と h を軸 1 に沿ってつなぎます。
この演習はまもなく開きます
その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。
このブラウザは learn.floati.life の Cookie をブロックしているため、ここで修了したレッスンを順番どおりに開けません。このサイトの Cookie を許可して再読み込みしてください。