シラバス レッスン 246 中 151 · モジュール 13:アテンションとトランスフォーマー
モジュール 13:アテンションとトランスフォーマー

トランスフォーマーのブロックひとつを手で

なぜ大切か GPT は同じブロックを積んだものです。素の NumPy でひとつ書き、記録したモデルの本物の重みで走らせ、あなたの数がモデル自身のものと一致すれば、トランスフォーマーのすべての行を理解しています。

見てみる

アニメーションを再生してください。ブロックは h(t の位置 × d)を取り、2 つのことをして、それぞれを h に足し戻します(モジュール 6 の 残差 の道):

h = h + Wo-mixed multi-head causal attention of layer_norm(h)
h = h + feed-forward of layer_norm(h)        # relu(x @ W1) @ W2, W1 widens d to 4d

記録したモデルの名前:qkv{l} は Wq、Wk、Wv を横に並べて持ち(d × 3d)、o{l} は Wo、g1{l}, b1{l} と g2{l}, b2{l} は 2 つの層の正規化、w1{l}, w2{l} はフィードフォワードです。ヘッド h は Q、K、V のそれぞれの列 h × 16 から (h + 1) × 16 を使います。

このレッスンの言葉と記号
アテンション
クエリとキーの点数のソフトマックスで、バリューを平均するのに使う
ヘッド
横に並べて走らせる H の狭いアテンションのひとつで、それぞれ自分のパターンを持つ
層の正規化
それぞれのベクトルを単独で正規化する:平均 0、広がり 1、それから g を掛けて b を足す
トランスフォーマーのブロック
h + attention(norm(h))、それから h + feed-forward(norm(h))
あなたの番

ひとつの系列(h は t × d)について block(h, l) を書いてください。モデル全体は組み立ててあります。その logits は model.logits と一致しなければなりません。

このレッスンに問題を見つけましたか?報告する · このレッスンについて質問する

この演習はまもなく開きます

その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。