シラバス レッスン 246 中 144 · モジュール 13:アテンションとトランスフォーマー
モジュール 13:アテンションとトランスフォーマー

自己アテンション:どの位置もほかのすべてに尋ねる

なぜ大切か トランスフォーマーには、振り返る別のエンコーダーはありません。文章のどの位置もほかにアテンションを向けるので、それぞれの文字のベクトルは、文の残りからの情報で更新されます。

位置ごとに 1 行の X(t 行、d 列)から始めます。3 つの学習した行列が、すべての位置のクエリ、キー、バリューを一度に作ります:

Q = X @ Wq     K = X @ Wk     V = X @ Wv
A = softmax(Q @ K.T / sqrt(dk))      # t by t: row i is how much position i attends to each position
out = A @ V

これはレッスン 1 のやわらかい引き当てを、2 回の行列の掛け算で t のクエリすべてについて一度に行うもので、だから速い計算のルーチンでとてもよく動くのです。

このレッスンの言葉と記号
クエリ、キー、バリュー
位置が探すもの。それぞれの位置が照合のために差し出すもの。それが手渡すもの
アテンション
クエリとキーの点数のソフトマックスで、バリューを平均するのに使う
自己アテンション
どの位置も同じ文章の位置にアテンションを向ける
あなたの番

(out, A) を返す self_attention(X, Wq, Wk, Wv) を書いてください。

このレッスンに問題を見つけましたか?報告する · このレッスンについて質問する

この演習はまもなく開きます

その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。