シラバス レッスン 246 中 125 · モジュール 11:記憶を持つネットワーク(RNN)
モジュール 11:記憶を持つネットワーク(RNN)

系列と状態

なぜ大切か 文章、音声、価格、センサーの読みは一度に一歩ずつ届き、前に来たものが次に来るものを変えます。再帰型のネットワークは、走りながらの要約を前へ運びます。

再帰型ニューラルネットワーク(RNN)は、短いベクトルである 隠れ状態 h を保ちます。どの一歩でも、新しい入力を古い状態と混ぜ、結果を押しつぶします:

h = tanh(x_t @ Wx + h @ Wh + b)

CNN がどの位置でもフィルターを使い回すのとちょうど同じく、どの一歩でも同じ重みが使われます。最後の h はネットワークが読んだすべてに依存するので、それは系列全体の(損失のある)記憶です。

小さな数

入力の数ひとつ、隠れた数ひとつ、Wx = 1、Wh = 0.5、b = 0、h は 0 から始まる。1 それから 0 を読む:h = tanh(1) = 0.76、それから h = tanh(0 + 0.38) = 0.36。最初の入力は 2 歩目のあとも状態に現れていて、薄れていきます。

隠れ状態:RNN が一歩から一歩へ運ぶベクトルです。再帰的:自分の出力を入力として戻すことです。

このレッスンの言葉と記号
再帰型ネットワーク(RNN)
一度に一歩ずつ読み、隠れ状態を前へ運ぶネットワーク
あなたの番

rnn_forward(xs, Wx, Wh, b) を書いてください:xs は形 (steps, input size) を持ちます。ゼロの状態から始め、一歩ごとのあとの隠れ状態のリストを返してください。

このレッスンに問題を見つけましたか?報告する · このレッスンについて質問する

この演習はまもなく開きます

その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。