シラバス レッスン 246 中 152 · モジュール 13:アテンションとトランスフォーマー
モジュール 13:アテンションとトランスフォーマー

パラメーターはどこにあるか

なぜ大切か 「70 億パラメーターのモデル」は、より大きな d でのこの計算にすぎません。数えられれば、メモリがどこへ行き、なぜ幅が高くつくかがわかります。

ブロックごとの大きな行列は、Wq、Wk、Wv、Wo(4 つの d × d:4d の 2 乗)とフィードフォワード(d × 4d と 4d × d:8d の 2 乗)です。それで 12 d の 2 乗、それに層の正規化のための長さ d のいくつかのベクトル。

ブロックの外:トークンの埋め込み(V × d、このモデルでは出力の層としても使い回す)、位置ベクトル(ctx × d)、そして最後の層の正規化。

d を 2 倍にするとブロックのパラメーターは 4 倍になりますが、時間は 4 倍になりません。記録した幅 128 の実行は、平均で幅 64 の約 2.3 倍の時間がかかり(実行ごとに 1.1 から 4 倍のどこでも:共有の機械での実時間はノイズが多い)、幅 32 は幅 64 より速くありませんでした。これほど小さなモデルでは、一歩ごとの固定の代価(Python、小さな配列)が時間の大きな部分です。4 倍が現れるのは、行列の掛け算が支配してからです。

このレッスンの言葉と記号
ヘッド
横に並べて走らせる H の狭いアテンションのひとつで、それぞれ自分のパターンを持つ
位置ベクトル
アテンションが順序を見分けられるよう、それぞれのトークンに足すもの
層の正規化
それぞれのベクトルを単独で正規化する:平均 0、広がり 1、それから g を掛けて b を足す
12 d の 2 乗
ひとつのブロックの行列の中のパラメーター
あなたの番

この GPT の正確なパラメーターの数を返す count(V, d, layers, ctx) を書いてください(どのブロックも 12 d の 2 乗 + 4d を持つ:g と b を持つ 2 つの層の正規化)。本物のモデルと一致しなければなりません。

このレッスンに問題を見つけましたか?報告する · このレッスンについて質問する

この演習はまもなく開きます

その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。