より大きな実行を予測し、それから見る
なぜ大切か 持っている実行を述べるだけの当てはめは要約です。持っていなかった実行を予測する当てはめは法則です。少なくとも今のところは。これがその試験です。
コースは格子が終わったあとにもうひとつの大きさを訓練しました:幅 2048、約 375,000 の重み、格子の最大のものの 2 倍で、150 万トークン全部、3 つのシード。あなたはその損失を見ていません。
レッスン 3 のべき乗則(一度にひとつの幅、150 万トークン)を使ってそれを予測してください。コードで数を確定させ、それから記録した結果を開きます。
このレッスンの言葉と記号
- べき乗則
- y = A x^-alpha:両対数の軸の上の直線
- トークン
- ここでは、ひとつの予測:1 文字
scaling.fit_power_law で 150 万トークンの格子を当てはめ、幅 2048(scaling.params_of(2048) の重み)について prediction を設定し、それから actual(scaling.recorded_bigger() の平均)と error を設定してください。better_than_my_gut を設定して、レッスン 1 の直感の誤差と比べます。
この演習はまもなく開きます
その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。
このブラウザは learn.floati.life の Cookie をブロックしているため、ここで修了したレッスンを順番どおりに開けません。このサイトの Cookie を許可して再読み込みしてください。