シラバス レッスン 246 中 130 · モジュール 11:記憶を持つネットワーク(RNN)
モジュール 11:記憶を持つネットワーク(RNN)

誰が覚えているか? 記録した実行

なぜ大切か 教科書は LSTM は覚えていて素の RNN は忘れると言います。コースはそれを試し、本当の答えには、いつか訓練する前に知っておく価値のあるひねりがあります。

記録した実験 rnn-vs-lstm-memory:ネットワークは 4 つの記号のひとつを見て、それから同じアルファベットから引いた 5、15、30、60 の記号の隔たりがあり、最初の記号が何だったかを言わなければなりません。3 種類のネットワーク、それぞれ 3 つのシード:

  • 素の tanh の RNN。
  • 忘却ゲートがバイアス 1 で始まる LSTM(最初は一歩ごとにセルの約 73% を残す)。
  • 忘却ゲートがバイアス 3 で始まる LSTM(約 95%)。

実行を読む前に予測してください:隔たり 60 で 3 つのシードすべてに成功するのはどの種類か?

このレッスンの言葉と記号
再帰型ネットワーク(RNN)
一度に一歩ずつ読み、隠れ状態を前へ運ぶネットワーク
LSTM
記憶のセル c と 3 つのゲート(忘却、入力、出力)を持つ RNN
あなたの番

my_prediction を "rnn"、"lstm-forget-bias-1"、"lstm-forget-bias-3" のどれかに設定してください。それから nnsim.recorded を使って successes を埋めます:(cell, gap) から、3 つのシードのうちテストの正解率 95% 以上に届いた数へ。

このレッスンに問題を見つけましたか?報告する · このレッスンについて質問する

この演習はまもなく開きます

その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。