バッチの大きさと学習率を一緒に
なぜ大切か バッチの大きさと学習率は別々のつまみではありません。一方を変えると、もう一方の最良の値が動きます。
大きなバッチは雑音の少ない勾配を返すので、大きな歩みを安全に取れます。多くの人が出発点にするおおまかな規則:バッチの大きさを 2 倍にすれば、歩みが不安定になる点までは、学習率もおおよそ 2 倍にできる。
結果はシードごとにも揺れるので、設定はひとつの実行ではなく、いくつかのシードの上で比べましょう。
もうひとつの罠:ここのラベルは散らばり 0.1 の雑音を運ぶので、どの設定も損失を約 0.1 の 2 乗 = 0.01 より下には押せません。その床の近くでは、いくつかの組が同点になります(例えば 0.0113 対 0.0114)。シードごとの揺れより小さな差の「勝者」は勝者ではないので、実行は最良の 5% 以内のすべての組も並べます。
まとめ 一緒に調整し、シードの上で平均しましょう。
このレッスンの言葉と記号
- SGD
- 小さなランダムなバッチを使う勾配降下法
先に予測する:my_pick に、2 エポックのあとで最も低い損失で終わると思う、格子の中の (batch, lr) の組を書いてください。それから、(batch, lr) からシードの上の平均の最終的な損失への辞書を返す sweep(X, y, batches, lrs, seeds)(与えられた sgd を使う)と、最良の組を返す best(results) を書いてください。
この演習はまもなく開きます
その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。
このブラウザは learn.floati.life の Cookie をブロックしているため、ここで修了したレッスンを順番どおりに開けません。このサイトの Cookie を許可して再読み込みしてください。