時間をさかのぼる逆伝播は、ふつうの逆伝播
なぜ大切か 「時間をさかのぼる逆伝播」は新しいアルゴリズムのように聞こえます。そうではありません:ループを広げれば、それは層がひとつの重みの組を共有する深いネットワークの上の逆伝播です。
見てみる
アニメーションを再生してください。横に並べて描いた RNN の 3 歩は、3 つの層です。同じ重み w がそれぞれに現れます。逆向きでは、w の勾配はどの写しからもひとつずつ寄与を集めます。モジュール 4 のエンジンで何度も使われたノードとちょうど同じです。
小さな数
数ひとつの線形の RNN:h_t = w h_(t-1) + x_t、h_0 = 0 から始め、損失 = h_3。入力 1、2、3 と w = 0.5:h1 = 1、h2 = 2.5、h3 = 4.25。dL/dh3 = 1。さかのぼると、dL/dh2 = w = 0.5、dL/dh1 = w の 2 乗 = 0.25。w のそれぞれの写しは(その出力での勾配)掛ける(それが掛けた h)を寄与します:1 × h2 + 0.5 × h1 + 0.25 × h0 = 2.5 + 0.5 + 0 = 3.0。
BPTT:時間をさかのぼる逆伝播。一歩一歩を広げて逆伝播し、重みを共有するどの一歩からの勾配も足し合わせます。
このレッスンの言葉と記号
- 再帰型ネットワーク(RNN)
- 一度に一歩ずつ読み、隠れ状態を前へ運ぶネットワーク
- 時間をさかのぼる逆伝播(BPTT)
- 一歩一歩を広げて逆伝播し、重みを共有するどの一歩からの勾配も足すこと
h_0 = 0 で損失が h_T(最後の状態)の、数ひとつの RNN h_t = w * h_(t-1) + x_t について、一歩一歩を逆向きにたどって dL/dw を返す bptt(xs, w) を書いてください。
この演習はまもなく開きます
その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。
このブラウザは learn.floati.life の Cookie をブロックしているため、ここで修了したレッスンを順番どおりに開けません。このサイトの Cookie を許可して再読み込みしてください。