シラバス レッスン 246 中 206 · モジュール 19:より大きく、そしてどれだけ良く(スケーリング則)
モジュール 19:より大きく、そしてどれだけ良く(スケーリング則)

本物の跳躍か、指標のいたずらか?

なぜ大切か 見出しは、大きなモデルがある大きさで突然能力を得ると言います:「創発」です。跳躍が本物のこともあります。でもしばしば、能力はずっとなめらかに良くなっていて、指標 がそれを突然に見せていたのです(Schaeffer、Miranda、Koyejo、2023)。どちらがどちらかを知ることが、それを予測できるかを決めます。

格子は同じ取り分けた文章で 2 つの点数を記録しました:

  • 文字ごとの正解率 p:次の文字についてのモデルの一番の推測が正しい位置の割合。大きさとともになめらかに上がり、150 万トークンで 0.27 から 0.53。
  • 5 つすべて正しい:次の 5 文字を間違いなく書く位置の割合。すべてか無か。

もしそれぞれの文字が独立に確率 p で正しいなら、5 つ続けて正しいのは p^5 の割合でしょう。まずそれを格子と照らし合わせてください。それから、均等に良くなる技能に指数が何をするかを見ます。これらの小さなモデルは効果をすべて見せるほど遠くまで行かないので、2 つ目の部分ははっきりそう示した例示で、測定ではありません:0.5 から 0.95 まで 10 の等しい歩みで上がる文字ごとの正解率です。

このレッスンの言葉と記号
指数(alpha、beta)
重みが増える(alpha)か、データが増える(beta)につれ、損失がどれだけ速く落ちるか
トークン
ここでは、ひとつの予測:1 文字
創発
ある大きさで突然現れるように見える能力。すべてか無かの指標が作り出すこともある
あなたの番

pairs を埋めてください:150 万トークンでのそれぞれの幅について、(p, p^5, 測った 5 つすべて正しい)。それから例示について、all10 を p_even の p^10 に、late_share を all10 の全体の上昇のうち 10 歩の最後の 3 歩で起きる割合に設定してください。最後に case を設定します。

このレッスンに問題を見つけましたか?報告する · このレッスンについて質問する

この演習はまもなく開きます

その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。