シラバス レッスン 246 中 204 · モジュール 19:より大きく、そしてどれだけ良く(スケーリング則)
モジュール 19:より大きく、そしてどれだけ良く(スケーリング則)

決まった予算の最良の使い方

なぜ大切か 決まった計算の予算 C では、より大きなモデルはより少ないトークンを見ます(C = 6 N D)。大きすぎれば飢え、小さすぎれば予算が尽きる前に満杯になります。2022 年、この計算(「Chinchilla」の論文)は、当時の大きなモデルのほとんどが訓練したデータに対して大きすぎたことを示しました。

両方の効果を一度に当てはめます:

loss = E + A / N^alpha + B / D^beta

scaling.fit_2d がそれを 150 の実行すべてに当てはめます。それから予算 C について、どの幅 N も D = C / (6 N) を決め、式が損失を予測します:予測が最も低い幅を選んでください。scaling.params_of(width) が幅の重みを返します。

この分野の今 Hoffmann ら(2022、「Chinchilla」)は、この同じ 2 変数の形を大きな言語モデルに当てはめ、計算に最適な配分が重みあたり約 20 の訓練のトークンにあることを見つけました。研究所は今ではそれをはるかに超えて訓練することがよくあります(より小さなモデルにずっと多くのトークン)。より小さなモデルは答えるたびに安いからです:訓練に最適な計算は、使うことに最適ではありません。そしてモデルを広くするとき、彼らは始めの重みと層ごとの学習率を拡大し直すので(muP、Yang ら 2022)、小さなモデルで見つけた最良の学習率が大きなものでも効きます:モジュール 13 の「広いモデルはより小さな歩幅を望む」レッスンが測った問題です。

このレッスンの言葉と記号
指数(alpha、beta)
重みが増える(alpha)か、データが増える(beta)につれ、損失がどれだけ速く落ちるか
トークン
ここでは、ひとつの予測:1 文字
FLOP(6 N D)
訓練の代価:トークンあたり重みあたり約 6 の操作
計算に最適
最も低い損失を返す、決まった予算のモデルの大きさとデータへの配分
あなたの番

格子を f に当てはめてください。予測した損失が最も低い幅(2 から 4096 の 2 のべき乗)を返す plan(f, budget) を書きます。1e9、1e10、1e11 FLOP の予算について choice を埋めてください。

このレッスンに問題を見つけましたか?報告する · このレッスンについて質問する

この演習はまもなく開きます

その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。