シラバス レッスン 246 中 205 · モジュール 19:より大きく、そしてどれだけ良く(スケーリング則)
モジュール 19:より大きく、そしてどれだけ良く(スケーリング則)

より大きな実行を予測し、それから見る

なぜ大切か 持っている実行を述べるだけの当てはめは要約です。持っていなかった実行を予測する当てはめは法則です。少なくとも今のところは。これがその試験です。

コースは格子が終わったあとにもうひとつの大きさを訓練しました:幅 2048、約 375,000 の重み、格子の最大のものの 2 倍で、150 万トークン全部、3 つのシード。あなたはその損失を見ていません。

レッスン 3 のべき乗則(一度にひとつの幅、150 万トークン)を使ってそれを予測してください。コードで数を確定させ、それから記録した結果を開きます。

このレッスンの言葉と記号
べき乗則
y = A x^-alpha:両対数の軸の上の直線
トークン
ここでは、ひとつの予測:1 文字
あなたの番

scaling.fit_power_law で 150 万トークンの格子を当てはめ、幅 2048(scaling.params_of(2048) の重み)について prediction を設定し、それから actual(scaling.recorded_bigger() の平均)と error を設定してください。better_than_my_gut を設定して、レッスン 1 の直感の誤差と比べます。

このレッスンに問題を見つけましたか?報告する · このレッスンについて質問する

この演習はまもなく開きます

その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。