シラバス レッスン 246 中 73 · モジュール 5:最適化
モジュール 5:最適化

学習率を早く見つけ、急な跳ねを切り詰める

なぜ大切か 学習率を推測すると何日も無駄にします。ひとつの短い実行が良いものを教えてくれます。そしてひとつの悪いバッチが、歩みに上限を付けない限り、実行を爆発させかねません。

範囲の試験

数百歩訓練しながら、ごく小さいものから巨大なものまで、毎歩少しずつ学習率を上げ、損失を記録します。最初は何も起こらず、それから損失が速く下がり、それから爆発します。良い学習率は、損失が最も速く下がっていたところ、爆発の少し下にあります。よくある規則:損失が最も低かった率を取り、10 で割る。

クリッピング

勾配の全体の大きさ(その長さ、またはノルム)が上限を超えたら、勾配全体をその長さまで縮めます。向きは保たれ、まれな巨大な歩みだけが手なずけられます。

勾配のノルム:すべての勾配をひとつの長いベクトルとして取った長さです:その 2 乗の和の平方根。

このレッスンの言葉と記号
勾配のノルム、クリッピング
勾配の全体の大きさと、それに上限を付けること
あなたの番

pick_lr(lrs, losses) を書いてください:損失が最も低かった学習率を 10 で割ったもの。そして clip(grads, max_norm):grads は配列のリストです。合わせたノルムが max_norm を超えるなら、ノルムが max_norm に等しくなるようすべて縮めて返し、そうでなければ変えずに返します。

このレッスンに問題を見つけましたか?報告する · このレッスンについて質問する

この演習はまもなく開きます

その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。