重い玉(モメンタム)
なぜ大切か モメンタムは引き伸ばされた谷への最も役に立つただひとつの対策で、使うほとんどどの最適化手法もそれを持っています。
まず見る
アニメーションを再生してください。素朴な勾配降下法は谷を横切ってジグザグします。重い玉は前の速度の一部を保ちます:ジグザグ(左、右、左)は打ち消し合い、谷に沿った一定の下り坂の引きは歩みごとに積み重なります。なので谷底に沿って速く進みます。
名前を付ける
v = beta * v + grad # velocity: mostly the old velocity, plus the new push
p = p - lr * v
beta = 0.9 では、玉はおよそ直近の 10 回の押しを覚えています。
なぜここで素朴な降下は遅いのか
このお椀では、急な向きはなだらかな向きより 50 倍急です。素朴な降下の学習率は急な向きに上限を決められます:2/50 = 0.04 を超えると谷を横切る歩みが増えて爆発します。上限のすぐ下の 0.039 では、0.039 はなだらかな向きにはごく小さな率なので、谷に沿って這いながら、谷を横切ってジグザグします(どの歩みも行き過ぎて反対側に着く)。モメンタムは大きな率を使って谷に沿った速さを保てます:急な向きでも行き過ぎますが、その揺れは打ち消し合い、谷底に沿った押しは積み重なります。
(ちょうど lr = 1/50 = 0.02 ではジグザグはまったくありません:1 歩で谷底に着き、残りはゆっくりした這いです。試してください。)
(場面は、道筋が画面に収まるよう、横切る向きが 25 倍急なよりなだらかな谷を beta 0.5 で描きます。このレッスンの数は、コードにする 50 倍の谷のものです。)
モメンタム:最近の勾配の累計で、ジグザグをならし、一定の向きに速さを積み上げます。
このレッスンの言葉と記号
- モメンタム (beta)
- 前の歩みの速度の一部を保つこと
steps_plain(lr) と steps_momentum(lr, beta) を書いてください:引き伸ばされたお椀の (1, 1) から始め、底までの距離が 0.001 未満になるまで歩数を数えます(最大 20,000)。それぞれに良い設定を与えてください:素朴な降下は上限のすぐ下の lr 0.039、モメンタムは lr 0.06、beta 0.6。モメンタムが要る歩数は最大で 3 分の 1 でなければなりません。
この演習はまもなく開きます
その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。
このブラウザは learn.floati.life の Cookie をブロックしているため、ここで修了したレッスンを順番どおりに開けません。このサイトの Cookie を許可して再読み込みしてください。