シラバス レッスン 246 中 72 · モジュール 5:最適化
モジュール 5:最適化

ウォームアップとコサインのスケジュール

なぜ大切か 最良の学習率は、訓練の最初から最後まで同じではありません。大きなモデルはほとんどいつもスケジュールで訓練されます:穏やかな始まり、長く高い中盤、ゆっくりした着地。

見てみる

アニメーションを再生してください。ウォームアップ:率は最初の数百歩で、ゼロに近いところから山まで直線で登ります。まさに始まりでは勾配が大きく信頼できないからです。コサインの減衰:それから半分のコサインの波に沿って小さな床まで滑り下りるので、訓練の後半は小さく注意深い歩みを取り、良い場所に落ち着きます。

if step < warmup:  lr = peak * (step + 1) / warmup
else:              progress = (step - warmup) / (total - warmup)
                   lr = floor + (peak - floor) * 0.5 * (1 + cos(pi * progress))

まとめ 上がり、巡航し、滑り下りる。

このレッスンの言葉と記号
ウォームアップ、コサイン
学習率を小さく始め、それからコサインに沿って滑り下ろす
あなたの番

上の式に従って lr_at(step, total, warmup, peak, floor) を書いてください(歩みは 0 から数える)。

このレッスンに問題を見つけましたか?報告する · このレッスンについて質問する

この演習はまもなく開きます

その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。