シラバス レッスン 246 中 200 · モジュール 19:より大きく、そしてどれだけ良く(スケーリング則)
モジュール 19:より大きく、そしてどれだけ良く(スケーリング則)

より大きなモデルを予想する

なぜ大切か 大きなモデルの訓練には何か月と何百万もかかります。それを使う前に、人は小さな実行からそれがどれだけ良くなるかを予測します。AI ブームの裏の驚くべき事実は、その予測がたいてい当たることです。まず、自分の直感がどれだけ良いかを見てください。

このモジュールのモデルは小さな文字のモデルです:8 文字を読んで次を予測します。ひとつの数がその大きさを決めます。隠れ層の 幅 です。コースは自身のレッスンの文章 150 万文字で、そうしたモデルを 150(10 の幅、5 つのデータの量、それぞれ 3 つのシード)訓練し、それぞれの、一度も見なかった 10 万文字での損失を測りました。

150 万トークンで訓練した幅 128 のモデル(24,401 の重み)は、取り分けたデータでの損失約 1.86 に届きます。ここでの トークン はひとつの予測:1 文字です。

見る前に:幅 1024 のモデルは 7.7 倍の重みを持ちます。同じデータで訓練すると、どんな損失に届くでしょうか? 目安として:どの文字も等しく起こりやすいと予測すると 4.42 で、これらのモデルの最良のものは 2 を下回ります。

このレッスンの言葉と記号
トークン
ここでは、ひとつの予測:1 文字
あなたの番

my_guess を、150 万トークンでの幅 1024 の予測した取り分けた損失に設定してください。それから記録した実行から actual(3 つのシードの平均)を、error をどれだけ外れたか(actual 引く guess)に設定してください。

このレッスンに問題を見つけましたか?報告する · このレッスンについて質問する

この演習はまもなく開きます

その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。