モジュール 19:より大きく、そしてどれだけ良く(スケーリング則)
関門:訓練の実行を計画する(AI オフ)
以前このコースを受けたことがありますか?
あなたを 1 人として数えるためです。送られるのはあなたの答えと匿名の進捗だけです。
なぜ大切か これがスケーリング則の存在する理由の判断です:予算があり、一回きり。証拠からそれを計画してください。
関門の規則:AI チューターはオフです。格子と同じ文章で、コースの文字のモデルのひとつの実行に 3 x 10^10 FLOP があります。幅(2 のべき乗)と、すると予算が許すトークンの数を選んでください。記録した格子を好きなように使って構いません:当てはめ、表、両方。
確認は、コースの 2 変数の当てはめで、あなたの選択と最良の可能な選択の損失を予測し、あなたのものが最良から 0.02 以内で、予算を使い切った(1% 以内)ときに合格します。
このレッスンの言葉と記号
- スケーリング則
- 重み、データ、計算が増えるにつれ損失がどう落ちるか。たいてい床に向かうべき乗則
- トークン
- ここでは、ひとつの予測:1 文字
- FLOP(6 N D)
- 訓練の代価:トークンあたり重みあたり約 6 の操作
あなたの番
width と tokens を設定してください。
AI オフ:この問題ではチューター、ヒント、解答例はありません。自分の頭だけで考えましょう。
レッスン完了。お見事です。
この演習はまもなく開きます
その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。
このブラウザは learn.floati.life の Cookie をブロックしているため、ここで修了したレッスンを順番どおりに開けません。このサイトの Cookie を許可して再読み込みしてください。