重み、データ、計算:何が足を引っ張っているか?
なぜ大切か 間違ったものにもっと使っても何も買えません。データに飢えたモデルは大きくしても良くならず、小さなモデルはもっと食べさせても良くなりません。どこを見ればよいかを知っていれば、格子は両方を見せます。
格子の行に沿って(ひとつの幅、どんどん多くのデータ)、そして列を下って(ひとつのデータの量、どんどん広いモデル)見てください。
実行が データに制限されている のは、そのデータの量でモデルを広げてもほとんど助けにならない(か悪くする)ときです。モデルに制限されている のは、その幅でもっとデータがあってもほとんど助けにならないときです。
このレッスンの言葉と記号
- トークン
- ここでは、ひとつの予測:1 文字
- データに制限、モデルに制限
- 幅を増やしても、データを増やしても、ほとんど助けにならないとき
gain_wider を埋めてください:8,000 トークンと 150 万トークンについて、幅 256 から幅 1024 への損失の下がり方。gain_more_data を埋めてください:幅 2 と幅 1024 について、512,000 から 150 万トークンへの損失の下がり方。それから 2 つの隅について verdict を設定します:"data-limited" か "model-limited"。
この演習はまもなく開きます
その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。
このブラウザは learn.floati.life の Cookie をブロックしているため、ここで修了したレッスンを順番どおりに開けません。このサイトの Cookie を許可して再読み込みしてください。