モジュール 13:アテンションとトランスフォーマー
自己アテンション:どの位置もほかのすべてに尋ねる
以前このコースを受けたことがありますか?
あなたを 1 人として数えるためです。送られるのはあなたの答えと匿名の進捗だけです。
なぜ大切か トランスフォーマーには、振り返る別のエンコーダーはありません。文章のどの位置もほかにアテンションを向けるので、それぞれの文字のベクトルは、文の残りからの情報で更新されます。
位置ごとに 1 行の X(t 行、d 列)から始めます。3 つの学習した行列が、すべての位置のクエリ、キー、バリューを一度に作ります:
Q = X @ Wq K = X @ Wk V = X @ Wv
A = softmax(Q @ K.T / sqrt(dk)) # t by t: row i is how much position i attends to each position
out = A @ V
これはレッスン 1 のやわらかい引き当てを、2 回の行列の掛け算で t のクエリすべてについて一度に行うもので、だから速い計算のルーチンでとてもよく動くのです。
このレッスンの言葉と記号
- クエリ、キー、バリュー
- 位置が探すもの。それぞれの位置が照合のために差し出すもの。それが手渡すもの
- アテンション
- クエリとキーの点数のソフトマックスで、バリューを平均するのに使う
- 自己アテンション
- どの位置も同じ文章の位置にアテンションを向ける
あなたの番
(out, A) を返す self_attention(X, Wq, Wk, Wv) を書いてください。
レッスン完了。お見事です。
この演習はまもなく開きます
その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。
このブラウザは learn.floati.life の Cookie をブロックしているため、ここで修了したレッスンを順番どおりに開けません。このサイトの Cookie を許可して再読み込みしてください。