床付きのべき乗則を当てはめる
なぜ大切か 「大きいほど良い」は計画には役立ちません。「損失は重みの -0.5 乗で、床 1.6 に向かって落ちる」なら、まだお金を払っていない実行に数をつけられます。その数と、それにどれだけ確信があるかを得ることが技能です。
ほとんどのスケーリングのデータに合う形:
loss = E + A N^(-alpha)
N は重みの数、alpha は 指数(どれだけ速く良くなるか)、E は 床:この系統のどのモデルもこのデータで破れない損失です。その一部は文章が予測できないことで、一部は系統自身の限界です(このモデルは 8 文字前までしか見ない)。別の系統、例えばもっと前まで読むものは、より低い床を持ちます。床がないと、小さなモデルでの当てはめは大きなものがどれだけ得をするかを過大に見積もります。
当てはめ方:0 と最小の損失の少し下の間のそれぞれの候補の床 E について、対数を取ります。log(loss - E) = log A - alpha log N は直線なので、最小二乗で当てはめます。損失そのものの上の 2 乗の誤差が最も小さい曲線の E を残します。
エラーバー:大きさごとに 3 つのシードがあります。何度も当てはめ直し、毎回どの大きさでもランダムにひとつのシードを選び(ブートストラップ)、alpha の広がりを見ます。場面を見てください:同じ点、床ありとなしで当てはめた曲線、そしてブートストラップの当てはめの帯。
このレッスンの言葉と記号
- べき乗則
- y = A x^-alpha:両対数の軸の上の直線
- 指数(alpha、beta)
- 重みが増える(alpha)か、データが増える(beta)につれ、損失がどれだけ速く落ちるか
- 床(E)
- このデータでどのモデルも破れない損失
- トークン
- ここでは、ひとつの予測:1 文字
- ブートストラップ
- 当てはめた数がどれだけ動くかを見るため、再標本化したデータで当てはめ直すこと
述べたとおりに (E, A, alpha) を返す fit(N, loss) を書いてください(0 から最小の損失の 0.999 倍までの 400 の候補の床)。150 万トークンの実行(幅ごとにひとつの平均)を main に当てはめ、それから 100 回のブートストラップの当てはめ直しを走らせ、interval を alpha の 5 と 95 パーセンタイルに設定してください。
この演習はまもなく開きます
その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。
このブラウザは learn.floati.life の Cookie をブロックしているため、ここで修了したレッスンを順番どおりに開けません。このサイトの Cookie を許可して再読み込みしてください。