重みごとの音量のつまみ(RMSProp)
なぜ大切か モメンタムは向きをならします。RMSProp はもうひとつの問題を直します:ある重みは巨大な勾配を、ほかはごく小さな勾配を得るので、ひとつの学習率ではそのすべてに合いません。
RMSProp は、それぞれの重みについて、その勾配の 2 乗の累計の平均を持ちます:その重みの勾配がふつうどれだけ大きな音か。それから、うるさい重みの音量を下げ静かなものの音量を上げるように、それぞれの歩みをその平方根で割ります。
s = rho * s + (1 - rho) * grad ** 2
p = p - lr * grad / (np.sqrt(s) + eps)
引き伸ばされたお椀では、急な向きはうるさい勾配を持って下げられ、なだらかな向きは上げられ、お椀はほとんど丸いかのようにふるまいます。それがここで動くのは、お椀の急な向きとなだらかな向きが 2 つの重みにそろっているからです。谷を 45 度傾け、それぞれの重みが両方の向きの混ざったものを見るようにすると、重みごとの音量のつまみはそれを分けられません。そのとき RMSProp と Adam はずっと役に立たなくなります。それらは、谷の本当の形ではなく、それぞれの重みの勾配がどれだけうるさいかで縮尺し直すのです。
eps:0 での割り算を止める、1e-8 のようなごく小さな数です。
このレッスンの言葉と記号
- モメンタム (beta)
- 前の歩みの速度の一部を保つこと
- RMSProp
- それぞれの重みの歩みを、その勾配がふつうどれだけうるさいかで割ること
- Adam (m, v, t)
- モメンタム (m) 足す重みごとの音量のつまみ (v) を、最初の歩み (t) について補正したもの
最終的な位置を返す rmsprop(grad, start, lr, rho, steps, eps=1e-8) を書いてください。隠れたテストは、数歩のあとのあなたの位置を手本と比べます。
この演習はまもなく開きます
その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。
このブラウザは learn.floati.life の Cookie をブロックしているため、ここで修了したレッスンを順番どおりに開けません。このサイトの Cookie を許可して再読み込みしてください。