モジュール 13:アテンションとトランスフォーマー
アテンションがボトルネックを直す
以前このコースを受けたことがありますか?
あなたを 1 人として数えるためです。送られるのはあなたの答えと匿名の進捗だけです。
なぜ大切か アテンションは 2014 年に、まさにモジュール 11 で測った問題を直すために発明されました:文全体をひとつのベクトルに押し込むエンコーダーです。
記録した seq2seq-bottleneck の実験では、アテンションのモデルのデコーダーは、どの一歩でも、エンコーダーのすべての隠れ状態にアテンションを向けます(そのクエリはデコーダー自身の状態)。もうひとつの最後のベクトルに依存せず、必要な数字をまっすぐ振り返って見られます。
予測してください:素のモデルが数字の約 59% を当てた長さ 16 で、アテンションのモデルは何を出すか?
このレッスンの言葉と記号
- クエリ、キー、バリュー
- 位置が探すもの。それぞれの位置が照合のために差し出すもの。それが手渡すもの
- アテンション
- クエリとキーの点数のソフトマックスで、バリューを平均するのに使う
あなたの番
my_guess を 0 と 1 の間の数に設定してください:長さ 16 でのアテンションのモデルの数字の正解率の予想です。acc を埋めてください:両方のモデルと 4 つの長さすべてについて、(model, length) から 2 つのシードの平均の数字の正解率へ。そして gain_at_16。
レッスン完了。お見事です。
この演習はまもなく開きます
その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。
このブラウザは learn.floati.life の Cookie をブロックしているため、ここで修了したレッスンを順番どおりに開けません。このサイトの Cookie を許可して再読み込みしてください。