ゼロから作る自己注意
ニューロンと順伝播を作りました。今度は、ふつうのニューラルネットを トランスフォーマー に変え、そこからあらゆるチャットアシスタントの背後にある LLM に変えた、たったひとつの考え方を作ります。自己注意(セルフアテンション) です。それはほんの数回の行列の掛け算で、全部を numpy でできます。
直感
文の中の各単語が、ほかの単語から情報を集めたがっていると想像してください。自己注意は、各位置に 3 つのベクトルを与えます:
- クエリ(Q):この位置が探しているもの。
- キー(K):各位置が差し出すもので、照合に使います。
- バリュー(V):各位置が実際に運んでいる情報。
ある位置は、自分のクエリをすべてのキーと比べて、ほかの各位置にどれだけ耳を傾けるかを決め、その量を使って バリューの重み付きの混ぜ合わせ を取ります。よく一致する -> 大きな重み -> そのバリューがより多く寄与する。仕組みはこれで全部です。クエリがキーに注意を向け、答えはバリューの重み付きの混ぜ合わせです。
数学:スケール付き内積注意
クエリとキーの一致の点数は、その 内積 です(同じ方向を向いているほど大きくなります)。すべてのクエリを行列 Q に、すべてのキーを K に積み重ねると、すべての点数が一度に Q @ K.T になります。ベクトルが長くなっても点数が爆発しないよう、sqrt(d_k)(キーの次元)で割ります:
scores = Q @ K.T / np.sqrt(d_k)そもそもなぜ割るのでしょうか? 内積は次元とともに大きくなります。d_k が 64 で要素がおよそ 1 なら、そのままの点数は 64 近くになり、そんなに大きな数はソフトマックスをひとつのキーに押しやって勾配を平らにしてしまいます。sqrt(d_k)、ここでは sqrt(64) = 8 で割ることで、点数がまともな範囲に戻り、注意がなめらかで学習できるものに保たれます。下で実行する小さな d_k = 1 の例では割る数はただの 1 なので効き目は見えませんが、本物のモデルの大きさでは欠かせません。
scores の各 行 には、ひとつのクエリのすべてのキーに対する点数が入っています。最後の軸に沿った ソフトマックス で、各行を、正で合計が 1 になる重みに変えます:
weights = softmax(scores, axis=-1) # each row sums to 1ソフトマックスは指数を取って正規化します。素朴にやると、大きな点数の np.exp が inf にあふれ、重みが nan になってしまいます。直し方は標準的な 数値的に安定な 技です。指数を取る前に、各行の最大値を引きます。数学的には結果は変わりませんが(同じ定数が分子と分母で打ち消し合います)、すべての指数が <= 0 に保たれます:
def softmax(x):
x = x - x.max(axis=-1, keepdims=True) # stability: largest exponent is now 0
e = np.exp(x)
return e / e.sum(axis=-1, keepdims=True)最後に、各クエリの出力は、その重みをバリューに適用したもので、これも行列の掛け算ひとつです:
output = weights @ Vまとめると、有名な式はただの softmax(Q @ K.T / sqrt(d_k)) @ V です。Q が (n, d_k)、K が (m, d_k)、V が (m, d_v) なら、weights は (n, m)、output は (n, d_v) です。クエリごとにひとつの出力ベクトルがあり、それぞれがバリューの行の混ぜ合わせです。
これがトランスフォーマーの技のすべて
本物のトランスフォーマーは、ひとつの注意の計算では止まりません。マルチヘッド注意 はこれをいくつも並列に走らせ(各ヘッドが自分の Q、K、V の射影を学ぶので、ヘッドごとに違うものに注意を向けます)、結果をつなげます。トランスフォーマーの ブロック は、注意に小さな順伝播ネットワークと残差接続を重ね、モデルはそのブロックを何十個も積み重ねます。でも、そのどれもの心臓部は、まさにこれから書く関数です。点数、安定なソフトマックス、バリューの重み付きの和。これを作れば、LLM がプロンプトに「注意を払う」ときに繰り返している中核の演算がわかります。
正直な但し書きをひとつ。ここでは Q、K、V が固定の配列として渡されます。本物のモデルではそれらは与えられるのではなく、各トークンの埋め込みに 3 つの学習された重み行列 W_q、W_k、W_v を掛けて 作られます。それらの行列と、各ブロックの中の行列こそが、前のレッスンの勾配降下法を使って学習が調整するものです。つまり、ここで作るのは、どのトランスフォーマーでも同じ、注意の固定された中核です。学習は、それに流し込む射影の中にあります。
Run を押して、注意が小さな Q/K/V を出力に変えるのを見て、重み行列を表示し、誰が誰に注意を向けたかを読み取ってみましょう。
numpy でスケール付き内積注意を実装してください。タプル (output, weights) を返す attention(Q, K, V) を書きます。d_k を Q の最後の次元として scores = Q @ K.T / np.sqrt(d_k) を計算し、最後の軸に沿って 数値的に安定な ソフトマックスを適用し(np.exp の前に各行の最大値を引きます)、行の合計が 1 になる weights を得ます。それから output = weights @ V とします。まず output、次に weights 行列を返します。最後に、用意された配列について out, w = attention(Q, K, V) とします。
この演習はまもなく開きます
その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。
このブラウザは learn.floati.life の Cookie をブロックしているため、ここで修了したレッスンを順番どおりに開けません。このサイトの Cookie を許可して再読み込みしてください。