シラバス レッスン 246 中 66 · モジュール 5:最適化
モジュール 5:最適化

雑音の多い歩み(SGD とミニバッチ)

なぜ大切か 本物のデータセットには何百万もの例があります。どの歩みでもそのすべてで正確な勾配を計算するのは遅すぎるので、小さなバッチからそれを見積もります。

ミニバッチ の勾配は、512 のすべての代わりに、例えば 32 のランダムな例を使います。それはおおよそ下り坂を指し、少し雑音があります。1 回の正確な歩みの値段で 16 回の安い雑音の多い歩みが得られ、実際にはそれが楽に勝ちます。

雑音がすること

損失の曲線はなめらかではなくぎざぎざになり、底の近くでは決して完全には落ち着きません:最小のまわりで小刻みに揺れます。訓練の後半で学習率を下げると、揺れが静まります。大きなネットワークでは、少しの雑音が役に立つことさえあり、歩みをまずい場所から揺さぶり出します。

SGD:確率的勾配降下法で、勾配のミニバッチの見積もりを使う勾配降下法です。

まとめ 多くの安い雑音の多い歩みは、少しの正確な歩みに勝ちます。

このレッスンの言葉と記号
SGD
小さなランダムなバッチを使う勾配降下法
ミニバッチ
1 回のステップに使う、データの小さなランダムな切れ端
あなたの番

線形回帰(損失:平均二乗誤差)について、エポックごとに混ぜ、(w, losses) を返す sgd(X, y, lr, batch, epochs, seed) を書いてください。losses はそれぞれのエポックのあとの全データの損失です。batch 32、lr 0.05、10 エポックで 0.02 未満で終わらなければなりません。

このレッスンに問題を見つけましたか?報告する · このレッスンについて質問する

この演習はまもなく開きます

その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。