シラバス レッスン 246 中 132 · モジュール 11:記憶を持つネットワーク(RNN)
モジュール 11:記憶を持つネットワーク(RNN)

ひとつが読み、ひとつが書く:ボトルネック

なぜ大切か 翻訳はかつてこう動いていました:ひとつの RNN が文をひとつのベクトルに読み込み、もうひとつがそこから出力を書く。そのひとつのベクトルがボトルネックで、それが失敗するのを見ることが、アテンションが発明された理由です。

エンコーダー・デコーダー:エンコーダーの RNN が入力を読みます。その最後の隠れ状態がデコーダーの RNN に渡され、それが一度にひとつの記号ずつ出力を書き、それぞれの答えを戻して入れます。デコーダーが入力について知るすべては、48 の数のそのひとつのベクトルを通り抜けなければなりません。

記録した実験 seq2seq-bottleneck は、そうしたネットワークに、長さ 4、8、12、16 の数字の列を逆に書くよう、それぞれ 2 つのシードで訓練しました。アテンションありの版も訓練していて、それにはモジュール 13 で出会います。今のところは、素のものだけを見てください。

曲線を当ててください:長さ 16 での素のモデルの数字の正解率を予測します。偶然は 10% です。

このレッスンの言葉と記号
再帰型ネットワーク(RNN)
一度に一歩ずつ読み、隠れ状態を前へ運ぶネットワーク
エンコーダー・デコーダー
ひとつの RNN が入力をベクトルに読み込み、もうひとつがそこから出力を書く
ボトルネック
すべてが通り抜けなければならない、ひとつのベクトル
あなたの番

my_guess_16 を設定し、それから plain_acc を埋めてください:長さから、2 つの素の実行の平均の数字の正解率へ。

このレッスンに問題を見つけましたか?報告する · このレッスンについて質問する

この演習はまもなく開きます

その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。