シラバス レッスン 246 中 143 · モジュール 13:アテンションとトランスフォーマー
モジュール 13:アテンションとトランスフォーマー

アテンションがボトルネックを直す

なぜ大切か アテンションは 2014 年に、まさにモジュール 11 で測った問題を直すために発明されました:文全体をひとつのベクトルに押し込むエンコーダーです。

記録した seq2seq-bottleneck の実験では、アテンションのモデルのデコーダーは、どの一歩でも、エンコーダーのすべての隠れ状態にアテンションを向けます(そのクエリはデコーダー自身の状態)。もうひとつの最後のベクトルに依存せず、必要な数字をまっすぐ振り返って見られます。

予測してください:素のモデルが数字の約 59% を当てた長さ 16 で、アテンションのモデルは何を出すか?

このレッスンの言葉と記号
クエリ、キー、バリュー
位置が探すもの。それぞれの位置が照合のために差し出すもの。それが手渡すもの
アテンション
クエリとキーの点数のソフトマックスで、バリューを平均するのに使う
あなたの番

my_guess を 0 と 1 の間の数に設定してください:長さ 16 でのアテンションのモデルの数字の正解率の予想です。acc を埋めてください:両方のモデルと 4 つの長さすべてについて、(model, length) から 2 つのシードの平均の数字の正解率へ。そして gain_at_16。

このレッスンに問題を見つけましたか?報告する · このレッスンについて質問する

この演習はまもなく開きます

その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。