シラバス レッスン 246 中 127 · モジュール 11:記憶を持つネットワーク(RNN)
モジュール 11:記憶を持つネットワーク(RNN)

時間をさかのぼる逆伝播は、ふつうの逆伝播

なぜ大切か 「時間をさかのぼる逆伝播」は新しいアルゴリズムのように聞こえます。そうではありません:ループを広げれば、それは層がひとつの重みの組を共有する深いネットワークの上の逆伝播です。

見てみる

アニメーションを再生してください。横に並べて描いた RNN の 3 歩は、3 つの層です。同じ重み w がそれぞれに現れます。逆向きでは、w の勾配はどの写しからもひとつずつ寄与を集めます。モジュール 4 のエンジンで何度も使われたノードとちょうど同じです。

小さな数

数ひとつの線形の RNN:h_t = w h_(t-1) + x_t、h_0 = 0 から始め、損失 = h_3。入力 1、2、3 と w = 0.5:h1 = 1、h2 = 2.5、h3 = 4.25。dL/dh3 = 1。さかのぼると、dL/dh2 = w = 0.5、dL/dh1 = w の 2 乗 = 0.25。w のそれぞれの写しは(その出力での勾配)掛ける(それが掛けた h)を寄与します:1 × h2 + 0.5 × h1 + 0.25 × h0 = 2.5 + 0.5 + 0 = 3.0。

BPTT:時間をさかのぼる逆伝播。一歩一歩を広げて逆伝播し、重みを共有するどの一歩からの勾配も足し合わせます。

このレッスンの言葉と記号
再帰型ネットワーク(RNN)
一度に一歩ずつ読み、隠れ状態を前へ運ぶネットワーク
時間をさかのぼる逆伝播(BPTT)
一歩一歩を広げて逆伝播し、重みを共有するどの一歩からの勾配も足すこと
あなたの番

h_0 = 0 で損失が h_T(最後の状態)の、数ひとつの RNN h_t = w * h_(t-1) + x_t について、一歩一歩を逆向きにたどって dL/dw を返す bptt(xs, w) を書いてください。

このレッスンに問題を見つけましたか?報告する · このレッスンについて質問する

この演習はまもなく開きます

その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。