学習率を早く見つけ、急な跳ねを切り詰める
なぜ大切か 学習率を推測すると何日も無駄にします。ひとつの短い実行が良いものを教えてくれます。そしてひとつの悪いバッチが、歩みに上限を付けない限り、実行を爆発させかねません。
範囲の試験
数百歩訓練しながら、ごく小さいものから巨大なものまで、毎歩少しずつ学習率を上げ、損失を記録します。最初は何も起こらず、それから損失が速く下がり、それから爆発します。良い学習率は、損失が最も速く下がっていたところ、爆発の少し下にあります。よくある規則:損失が最も低かった率を取り、10 で割る。
クリッピング
勾配の全体の大きさ(その長さ、またはノルム)が上限を超えたら、勾配全体をその長さまで縮めます。向きは保たれ、まれな巨大な歩みだけが手なずけられます。
勾配のノルム:すべての勾配をひとつの長いベクトルとして取った長さです:その 2 乗の和の平方根。
このレッスンの言葉と記号
- 勾配のノルム、クリッピング
- 勾配の全体の大きさと、それに上限を付けること
pick_lr(lrs, losses) を書いてください:損失が最も低かった学習率を 10 で割ったもの。そして clip(grads, max_norm):grads は配列のリストです。合わせたノルムが max_norm を超えるなら、ノルムが max_norm に等しくなるようすべて縮めて返し、そうでなければ変えずに返します。
この演習はまもなく開きます
その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。
このブラウザは learn.floati.life の Cookie をブロックしているため、ここで修了したレッスンを順番どおりに開けません。このサイトの Cookie を許可して再読み込みしてください。