シラバス レッスン 246 中 146 · モジュール 13:アテンションとトランスフォーマー
モジュール 13:アテンションとトランスフォーマー

アテンションをさかのぼる

なぜ大切か どのライブラリもこれを計算してくれますが、それはもう知っている 4 つの手順だけです。一度導くことが、アテンションを呼び出す箱ではなく、理解した層にします。

前向き、ひとつの系列 X(t の位置 × d)について:Q = X Wq、K = X Wk、V = X Wv、S = Q KT / sqrt(d)、A = 行ごとの softmax(S)、out = A V。逆向きは、G = dL/d(out) を与えられて、同じ手順を逆にたどります:

  1. out = A V は行列の掛け算(モジュール 2 の形の規則):dA = G VT と dV = AT G。
  2. A = softmax(S)、行ごとに(モジュール 2 のソフトマックスの勾配):dS = A * (dA - (dA * A).sum(-1, keepdims=True))。
  3. S = Q KT / sqrt(d):dQ = dS K / sqrt(d) と dK = dST Q / sqrt(d)。
  4. Q = X Wq(K と V も同じ):dWq = XT dQ、dWk = XT dK、dWv = XT dV。

ここで d はクエリとキーの幅(Wq の列の数)です。どこにも新しい規則は現れません:アテンションの逆向きのたどりは、2 回の行列の掛け算とソフトマックスを逆に走らせたものです。

まとめ 手順を逆の順に取り消します。それぞれ、もう持っている規則で。

このレッスンの言葉と記号
クエリ、キー、バリュー
位置が探すもの。それぞれの位置が照合のために差し出すもの。それが手渡すもの
アテンション
クエリとキーの点数のソフトマックスで、バリューを平均するのに使う
あなたの番

マスクなしの out = softmax(Q KT / sqrt(d)) V について、(dWq, dWk, dWv) を返す attention_backward(X, Wq, Wk, Wv, G) を書いてください。隠れたテストは、どの項目も少しの動きと照らし合わせます。

このレッスンに問題を見つけましたか?報告する · このレッスンについて質問する

この演習はまもなく開きます

その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。