トランスフォーマーのブロックひとつを手で
なぜ大切か GPT は同じブロックを積んだものです。素の NumPy でひとつ書き、記録したモデルの本物の重みで走らせ、あなたの数がモデル自身のものと一致すれば、トランスフォーマーのすべての行を理解しています。
見てみる
アニメーションを再生してください。ブロックは h(t の位置 × d)を取り、2 つのことをして、それぞれを h に足し戻します(モジュール 6 の 残差 の道):
h = h + Wo-mixed multi-head causal attention of layer_norm(h)
h = h + feed-forward of layer_norm(h) # relu(x @ W1) @ W2, W1 widens d to 4d
記録したモデルの名前:qkv{l} は Wq、Wk、Wv を横に並べて持ち(d × 3d)、o{l} は Wo、g1{l}, b1{l} と g2{l}, b2{l} は 2 つの層の正規化、w1{l}, w2{l} はフィードフォワードです。ヘッド h は Q、K、V のそれぞれの列 h × 16 から (h + 1) × 16 を使います。
このレッスンの言葉と記号
- アテンション
- クエリとキーの点数のソフトマックスで、バリューを平均するのに使う
- ヘッド
- 横に並べて走らせる H の狭いアテンションのひとつで、それぞれ自分のパターンを持つ
- 層の正規化
- それぞれのベクトルを単独で正規化する:平均 0、広がり 1、それから g を掛けて b を足す
- トランスフォーマーのブロック
- h + attention(norm(h))、それから h + feed-forward(norm(h))
ひとつの系列(h は t × d)について block(h, l) を書いてください。モデル全体は組み立ててあります。その logits は model.logits と一致しなければなりません。
この演習はまもなく開きます
その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。
このブラウザは learn.floati.life の Cookie をブロックしているため、ここで修了したレッスンを順番どおりに開けません。このサイトの Cookie を許可して再読み込みしてください。