自分の小さな実行の代価
なぜ大切か スケーリングは代価についての言明です:計算の単位あたりどれだけ良くなるか。なのでどの実行にも値札が要り、訓練の値札は驚くほど単純です。
訓練は約 トークンあたり重みあたり 6 の操作 がかかります:前向きのたどりに 2(どの重みにも掛け算ひとつ、足し算ひとつ)、逆向きのたどりに約 4(入力と重みの勾配)。それがスタートラインから使ってきた FLOP の帳簿の規則です:scaling.flops(weights, tokens)。
ここでは 3 つの小さなモデルをライブで訓練します。それぞれコースの文章の 32,000 トークンで、代価はおよそ 7 倍ずつ離れています。
このレッスンの言葉と記号
- トークン
- ここでは、ひとつの予測:1 文字
- FLOP(6 N D)
- 訓練の代価:トークンあたり重みあたり約 6 の操作
幅 4、16、64 をそれぞれ 32,000 トークン訓練してください(scaling.train(model, 32_000) が取り分けた損失を返します)。それぞれの幅について、重み、FLOP、損失で runs を埋めます。それから cost_ratio を設定してください:幅 64 の実行が幅 4 の実行より何倍かかったか。
この演習はまもなく開きます
その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。
このブラウザは learn.floati.life の Cookie をブロックしているため、ここで修了したレッスンを順番どおりに開けません。このサイトの Cookie を許可して再読み込みしてください。