系列と状態
なぜ大切か 文章、音声、価格、センサーの読みは一度に一歩ずつ届き、前に来たものが次に来るものを変えます。再帰型のネットワークは、走りながらの要約を前へ運びます。
再帰型ニューラルネットワーク(RNN)は、短いベクトルである 隠れ状態 h を保ちます。どの一歩でも、新しい入力を古い状態と混ぜ、結果を押しつぶします:
h = tanh(x_t @ Wx + h @ Wh + b)
CNN がどの位置でもフィルターを使い回すのとちょうど同じく、どの一歩でも同じ重みが使われます。最後の h はネットワークが読んだすべてに依存するので、それは系列全体の(損失のある)記憶です。
小さな数
入力の数ひとつ、隠れた数ひとつ、Wx = 1、Wh = 0.5、b = 0、h は 0 から始まる。1 それから 0 を読む:h = tanh(1) = 0.76、それから h = tanh(0 + 0.38) = 0.36。最初の入力は 2 歩目のあとも状態に現れていて、薄れていきます。
隠れ状態:RNN が一歩から一歩へ運ぶベクトルです。再帰的:自分の出力を入力として戻すことです。
このレッスンの言葉と記号
- 再帰型ネットワーク(RNN)
- 一度に一歩ずつ読み、隠れ状態を前へ運ぶネットワーク
rnn_forward(xs, Wx, Wh, b) を書いてください:xs は形 (steps, input size) を持ちます。ゼロの状態から始め、一歩ごとのあとの隠れ状態のリストを返してください。
この演習はまもなく開きます
その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。
このブラウザは learn.floati.life の Cookie をブロックしているため、ここで修了したレッスンを順番どおりに開けません。このサイトの Cookie を許可して再読み込みしてください。