より大きなモデルを予想する
なぜ大切か 大きなモデルの訓練には何か月と何百万もかかります。それを使う前に、人は小さな実行からそれがどれだけ良くなるかを予測します。AI ブームの裏の驚くべき事実は、その予測がたいてい当たることです。まず、自分の直感がどれだけ良いかを見てください。
このモジュールのモデルは小さな文字のモデルです:8 文字を読んで次を予測します。ひとつの数がその大きさを決めます。隠れ層の 幅 です。コースは自身のレッスンの文章 150 万文字で、そうしたモデルを 150(10 の幅、5 つのデータの量、それぞれ 3 つのシード)訓練し、それぞれの、一度も見なかった 10 万文字での損失を測りました。
150 万トークンで訓練した幅 128 のモデル(24,401 の重み)は、取り分けたデータでの損失約 1.86 に届きます。ここでの トークン はひとつの予測:1 文字です。
見る前に:幅 1024 のモデルは 7.7 倍の重みを持ちます。同じデータで訓練すると、どんな損失に届くでしょうか? 目安として:どの文字も等しく起こりやすいと予測すると 4.42 で、これらのモデルの最良のものは 2 を下回ります。
このレッスンの言葉と記号
- トークン
- ここでは、ひとつの予測:1 文字
my_guess を、150 万トークンでの幅 1024 の予測した取り分けた損失に設定してください。それから記録した実行から actual(3 つのシードの平均)を、error をどれだけ外れたか(actual 引く guess)に設定してください。
この演習はまもなく開きます
その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。
このブラウザは learn.floati.life の Cookie をブロックしているため、ここで修了したレッスンを順番どおりに開けません。このサイトの Cookie を許可して再読み込みしてください。