アテンションをさかのぼる
なぜ大切か どのライブラリもこれを計算してくれますが、それはもう知っている 4 つの手順だけです。一度導くことが、アテンションを呼び出す箱ではなく、理解した層にします。
前向き、ひとつの系列 X(t の位置 × d)について:Q = X Wq、K = X Wk、V = X Wv、S = Q KT / sqrt(d)、A = 行ごとの softmax(S)、out = A V。逆向きは、G = dL/d(out) を与えられて、同じ手順を逆にたどります:
- out = A V は行列の掛け算(モジュール 2 の形の規則):dA = G VT と dV = AT G。
- A = softmax(S)、行ごとに(モジュール 2 のソフトマックスの勾配):dS = A * (dA - (dA * A).sum(-1, keepdims=True))。
- S = Q KT / sqrt(d):dQ = dS K / sqrt(d) と dK = dST Q / sqrt(d)。
- Q = X Wq(K と V も同じ):dWq = XT dQ、dWk = XT dK、dWv = XT dV。
ここで d はクエリとキーの幅(Wq の列の数)です。どこにも新しい規則は現れません:アテンションの逆向きのたどりは、2 回の行列の掛け算とソフトマックスを逆に走らせたものです。
まとめ 手順を逆の順に取り消します。それぞれ、もう持っている規則で。
このレッスンの言葉と記号
- クエリ、キー、バリュー
- 位置が探すもの。それぞれの位置が照合のために差し出すもの。それが手渡すもの
- アテンション
- クエリとキーの点数のソフトマックスで、バリューを平均するのに使う
マスクなしの out = softmax(Q KT / sqrt(d)) V について、(dWq, dWk, dWv) を返す attention_backward(X, Wq, Wk, Wv, G) を書いてください。隠れたテストは、どの項目も少しの動きと照らし合わせます。
この演習はまもなく開きます
その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。
このブラウザは learn.floati.life の Cookie をブロックしているため、ここで修了したレッスンを順番どおりに開けません。このサイトの Cookie を許可して再読み込みしてください。