シラバス レッスン 246 中 154 · モジュール 13:アテンションとトランスフォーマー
モジュール 13:アテンションとトランスフォーマー

広いモデルはより小さな歩幅を望む

なぜ大切か 小さなモデルに効く学習率が、より大きなものを壊すことがあります。大きなモデルを訓練するチームは、これを知るのに本物のお金を使います。あなたは記録した実行から読めます。

記録した gpt-width-lr の実験は、小さな GPT を幅 32、64、128 で、それぞれ学習率 0.001、0.003、0.01 で、2,000 ステップ、それぞれ 3 つのシードで訓練し、最後に取り分けた文章で損失を測りました。

見る前に予測してください:最も広いモデル 128 に最も良い学習率はどれか?

このレッスンの言葉と記号
クエリ、キー、バリュー
位置が探すもの。それぞれの位置が照合のために差し出すもの。それが手渡すもの
あなたの番

my_guess を 0.001、0.003、0.01 のどれかに設定し、それから mean_loss を埋めてください:(width, lr) から 3 つのシードの上の平均の最終の取り分けた損失へ(exp.seeds(d=..., lr=...) が 3 つの実行を返します。それぞれの実行の最終の取り分けた損失は run.val_loss[-1][1])。それから best_lr を埋めます:幅から、平均が最も低い学習率へ。

それから、モジュール 9 のノイズの規則を使って、どの設定が本当に違うかを言ってください。それぞれ 3 つのシードでは、2 つの平均が本当に違うのは、差がおよそ 2 × s × sqrt(2/3) より大きいときだけです。ここで s は 2 つの設定のシードのばらつき(3 つの値の np.std)の大きいほうです。それより近いものは引き分けです。

ties を設定してください:幅から、その幅の最良と引き分ける学習率のリスト(最良も含む)へ。

このレッスンに問題を見つけましたか?報告する · このレッスンについて質問する

この演習はまもなく開きます

その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。