シラバス レッスン 246 中 203 · モジュール 19:より大きく、そしてどれだけ良く(スケーリング則)
モジュール 19:より大きく、そしてどれだけ良く(スケーリング則)

重み、データ、計算:何が足を引っ張っているか?

なぜ大切か 間違ったものにもっと使っても何も買えません。データに飢えたモデルは大きくしても良くならず、小さなモデルはもっと食べさせても良くなりません。どこを見ればよいかを知っていれば、格子は両方を見せます。

格子の行に沿って(ひとつの幅、どんどん多くのデータ)、そして列を下って(ひとつのデータの量、どんどん広いモデル)見てください。

実行が データに制限されている のは、そのデータの量でモデルを広げてもほとんど助けにならない(か悪くする)ときです。モデルに制限されている のは、その幅でもっとデータがあってもほとんど助けにならないときです。

このレッスンの言葉と記号
トークン
ここでは、ひとつの予測:1 文字
データに制限、モデルに制限
幅を増やしても、データを増やしても、ほとんど助けにならないとき
あなたの番

gain_wider を埋めてください:8,000 トークンと 150 万トークンについて、幅 256 から幅 1024 への損失の下がり方。gain_more_data を埋めてください:幅 2 と幅 1024 について、512,000 から 150 万トークンへの損失の下がり方。それから 2 つの隅について verdict を設定します:"data-limited" か "model-limited"。

このレッスンに問題を見つけましたか?報告する · このレッスンについて質問する

この演習はまもなく開きます

その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。