モジュール 13:アテンションとトランスフォーマー
多くのヘッド、同じ代価
以前このコースを受けたことがありますか?
あなたを 1 人として数えるためです。送られるのはあなたの答えと匿名の進捗だけです。
なぜ大切か 層ごとにひとつのアテンションのパターンでは窮屈です:ある位置は前の文字を見たく、同時に単語の始まりも見たいかもしれません。マルチヘッドアテンションは、いくつかの小さなアテンションを横に並べて走らせます。
見てみる
アニメーションを再生してください。Q、K、V の d 列を、d / H ずつの H のグループに分けます。それぞれのグループ(ヘッド)は、自分のパターンで自分のアテンションをします。H の出力を横に並べて d 列に貼り戻し、それからもうひとつの行列 Wo でそれらを混ぜます。
代価:ひとつの大きなヘッドと同じ行列を切り分けただけなので、パラメーターの数は変わりません。それぞれのヘッドはより狭いので、d / H の平方根で割ります。
このレッスンの言葉と記号
- アテンション
- クエリとキーの点数のソフトマックスで、バリューを平均するのに使う
- ヘッド
- 横に並べて走らせる H の狭いアテンションのひとつで、それぞれ自分のパターンを持つ
あなたの番
出力と H のアテンションの行列のリストを返す multi_head(X, Wq, Wk, Wv, Wo, H)(マスクなし)を書いてください。
レッスン完了。お見事です。
この演習はまもなく開きます
その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。
このブラウザは learn.floati.life の Cookie をブロックしているため、ここで修了したレッスンを順番どおりに開けません。このサイトの Cookie を許可して再読み込みしてください。