パラメーターはどこにあるか
なぜ大切か 「70 億パラメーターのモデル」は、より大きな d でのこの計算にすぎません。数えられれば、メモリがどこへ行き、なぜ幅が高くつくかがわかります。
ブロックごとの大きな行列は、Wq、Wk、Wv、Wo(4 つの d × d:4d の 2 乗)とフィードフォワード(d × 4d と 4d × d:8d の 2 乗)です。それで 12 d の 2 乗、それに層の正規化のための長さ d のいくつかのベクトル。
ブロックの外:トークンの埋め込み(V × d、このモデルでは出力の層としても使い回す)、位置ベクトル(ctx × d)、そして最後の層の正規化。
d を 2 倍にするとブロックのパラメーターは 4 倍になりますが、時間は 4 倍になりません。記録した幅 128 の実行は、平均で幅 64 の約 2.3 倍の時間がかかり(実行ごとに 1.1 から 4 倍のどこでも:共有の機械での実時間はノイズが多い)、幅 32 は幅 64 より速くありませんでした。これほど小さなモデルでは、一歩ごとの固定の代価(Python、小さな配列)が時間の大きな部分です。4 倍が現れるのは、行列の掛け算が支配してからです。
このレッスンの言葉と記号
- ヘッド
- 横に並べて走らせる H の狭いアテンションのひとつで、それぞれ自分のパターンを持つ
- 位置ベクトル
- アテンションが順序を見分けられるよう、それぞれのトークンに足すもの
- 層の正規化
- それぞれのベクトルを単独で正規化する:平均 0、広がり 1、それから g を掛けて b を足す
- 12 d の 2 乗
- ひとつのブロックの行列の中のパラメーター
この GPT の正確なパラメーターの数を返す count(V, d, layers, ctx) を書いてください(どのブロックも 12 d の 2 乗 + 4d を持つ:g と b を持つ 2 つの層の正規化)。本物のモデルと一致しなければなりません。
この演習はまもなく開きます
その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。
このブラウザは learn.floati.life の Cookie をブロックしているため、ここで修了したレッスンを順番どおりに開けません。このサイトの Cookie を許可して再読み込みしてください。