広いモデルはより小さな歩幅を望む
なぜ大切か 小さなモデルに効く学習率が、より大きなものを壊すことがあります。大きなモデルを訓練するチームは、これを知るのに本物のお金を使います。あなたは記録した実行から読めます。
記録した gpt-width-lr の実験は、小さな GPT を幅 32、64、128 で、それぞれ学習率 0.001、0.003、0.01 で、2,000 ステップ、それぞれ 3 つのシードで訓練し、最後に取り分けた文章で損失を測りました。
見る前に予測してください:最も広いモデル 128 に最も良い学習率はどれか?
このレッスンの言葉と記号
- クエリ、キー、バリュー
- 位置が探すもの。それぞれの位置が照合のために差し出すもの。それが手渡すもの
my_guess を 0.001、0.003、0.01 のどれかに設定し、それから mean_loss を埋めてください:(width, lr) から 3 つのシードの上の平均の最終の取り分けた損失へ(exp.seeds(d=..., lr=...) が 3 つの実行を返します。それぞれの実行の最終の取り分けた損失は run.val_loss[-1][1])。それから best_lr を埋めます:幅から、平均が最も低い学習率へ。
それから、モジュール 9 のノイズの規則を使って、どの設定が本当に違うかを言ってください。それぞれ 3 つのシードでは、2 つの平均が本当に違うのは、差がおよそ 2 × s × sqrt(2/3) より大きいときだけです。ここで s は 2 つの設定のシードのばらつき(3 つの値の np.std)の大きいほうです。それより近いものは引き分けです。
ties を設定してください:幅から、その幅の最良と引き分ける学習率のリスト(最良も含む)へ。
この演習はまもなく開きます
その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。
このブラウザは learn.floati.life の Cookie をブロックしているため、ここで修了したレッスンを順番どおりに開けません。このサイトの Cookie を許可して再読み込みしてください。