シラバス レッスン 246 中 201 · モジュール 19:より大きく、そしてどれだけ良く(スケーリング則)
モジュール 19:より大きく、そしてどれだけ良く(スケーリング則)

自分の小さな実行の代価

なぜ大切か スケーリングは代価についての言明です:計算の単位あたりどれだけ良くなるか。なのでどの実行にも値札が要り、訓練の値札は驚くほど単純です。

訓練は約 トークンあたり重みあたり 6 の操作 がかかります:前向きのたどりに 2(どの重みにも掛け算ひとつ、足し算ひとつ)、逆向きのたどりに約 4(入力と重みの勾配)。それがスタートラインから使ってきた FLOP の帳簿の規則です:scaling.flops(weights, tokens)。

ここでは 3 つの小さなモデルをライブで訓練します。それぞれコースの文章の 32,000 トークンで、代価はおよそ 7 倍ずつ離れています。

このレッスンの言葉と記号
トークン
ここでは、ひとつの予測:1 文字
FLOP(6 N D)
訓練の代価:トークンあたり重みあたり約 6 の操作
あなたの番

幅 4、16、64 をそれぞれ 32,000 トークン訓練してください(scaling.train(model, 32_000) が取り分けた損失を返します)。それぞれの幅について、重み、FLOP、損失で runs を埋めます。それから cost_ratio を設定してください:幅 64 の実行が幅 4 の実行より何倍かかったか。

このレッスンに問題を見つけましたか?報告する · このレッスンについて質問する

この演習はまもなく開きます

その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。