シラバス レッスン 246 中 207 · モジュール 19:より大きく、そしてどれだけ良く(スケーリング則)
モジュール 19:より大きく、そしてどれだけ良く(スケーリング則)

関門:訓練の実行を計画する(AI オフ)

なぜ大切か これがスケーリング則の存在する理由の判断です:予算があり、一回きり。証拠からそれを計画してください。

関門の規則:AI チューターはオフです。格子と同じ文章で、コースの文字のモデルのひとつの実行に 3 x 10^10 FLOP があります。幅(2 のべき乗)と、すると予算が許すトークンの数を選んでください。記録した格子を好きなように使って構いません:当てはめ、表、両方。

確認は、コースの 2 変数の当てはめで、あなたの選択と最良の可能な選択の損失を予測し、あなたのものが最良から 0.02 以内で、予算を使い切った(1% 以内)ときに合格します。

このレッスンの言葉と記号
スケーリング則
重み、データ、計算が増えるにつれ損失がどう落ちるか。たいてい床に向かうべき乗則
トークン
ここでは、ひとつの予測:1 文字
FLOP(6 N D)
訓練の代価:トークンあたり重みあたり約 6 の操作
あなたの番

width と tokens を設定してください。

AI オフ:この問題ではチューター、ヒント、解答例はありません。自分の頭だけで考えましょう。

このレッスンに問題を見つけましたか?報告する · このレッスンについて質問する

この演習はまもなく開きます

その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。