シラバス レッスン 246 中 147 · モジュール 13:アテンションとトランスフォーマー
モジュール 13:アテンションとトランスフォーマー

多くのヘッド、同じ代価

なぜ大切か 層ごとにひとつのアテンションのパターンでは窮屈です:ある位置は前の文字を見たく、同時に単語の始まりも見たいかもしれません。マルチヘッドアテンションは、いくつかの小さなアテンションを横に並べて走らせます。

見てみる

アニメーションを再生してください。Q、K、V の d 列を、d / H ずつの H のグループに分けます。それぞれのグループ(ヘッド)は、自分のパターンで自分のアテンションをします。H の出力を横に並べて d 列に貼り戻し、それからもうひとつの行列 Wo でそれらを混ぜます。

代価:ひとつの大きなヘッドと同じ行列を切り分けただけなので、パラメーターの数は変わりません。それぞれのヘッドはより狭いので、d / H の平方根で割ります。

このレッスンの言葉と記号
アテンション
クエリとキーの点数のソフトマックスで、バリューを平均するのに使う
ヘッド
横に並べて走らせる H の狭いアテンションのひとつで、それぞれ自分のパターンを持つ
あなたの番

出力と H のアテンションの行列のリストを返す multi_head(X, Wq, Wk, Wv, Wo, H)(マスクなし)を書いてください。

このレッスンに問題を見つけましたか?報告する · このレッスンについて質問する

この演習はまもなく開きます

その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。