シラバス レッスン 246 中 69 · モジュール 5:最適化
モジュール 5:最適化

重みごとの音量のつまみ(RMSProp)

なぜ大切か モメンタムは向きをならします。RMSProp はもうひとつの問題を直します:ある重みは巨大な勾配を、ほかはごく小さな勾配を得るので、ひとつの学習率ではそのすべてに合いません。

RMSProp は、それぞれの重みについて、その勾配の 2 乗の累計の平均を持ちます:その重みの勾配がふつうどれだけ大きな音か。それから、うるさい重みの音量を下げ静かなものの音量を上げるように、それぞれの歩みをその平方根で割ります。

s = rho * s + (1 - rho) * grad ** 2
p = p - lr * grad / (np.sqrt(s) + eps)

引き伸ばされたお椀では、急な向きはうるさい勾配を持って下げられ、なだらかな向きは上げられ、お椀はほとんど丸いかのようにふるまいます。それがここで動くのは、お椀の急な向きとなだらかな向きが 2 つの重みにそろっているからです。谷を 45 度傾け、それぞれの重みが両方の向きの混ざったものを見るようにすると、重みごとの音量のつまみはそれを分けられません。そのとき RMSProp と Adam はずっと役に立たなくなります。それらは、谷の本当の形ではなく、それぞれの重みの勾配がどれだけうるさいかで縮尺し直すのです。

eps:0 での割り算を止める、1e-8 のようなごく小さな数です。

このレッスンの言葉と記号
モメンタム (beta)
前の歩みの速度の一部を保つこと
RMSProp
それぞれの重みの歩みを、その勾配がふつうどれだけうるさいかで割ること
Adam (m, v, t)
モメンタム (m) 足す重みごとの音量のつまみ (v) を、最初の歩み (t) について補正したもの
あなたの番

最終的な位置を返す rmsprop(grad, start, lr, rho, steps, eps=1e-8) を書いてください。隠れたテストは、数歩のあとのあなたの位置を手本と比べます。

このレッスンに問題を見つけましたか?報告する · このレッスンについて質問する

この演習はまもなく開きます

その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。