シラバス レッスン 246 中 65 · モジュール 5:最適化
モジュール 5:最適化

なぜ引き伸ばされたお椀は遅いのか(条件数)

なぜ大切か 本物の損失の地形は、ある向きでは急で、ほかの向きではほぼ平らです。素朴な勾配降下法を遅くするのは、重みの数ではなく、その食い違いです。

見てみる

f = (k x squared + y squared) / 2 を取ります。k = 1 では丸いお椀です。k = 100 では長く細い谷です:横切る向きは急で、沿う向きはなだらか。学習率は両方の向きに一度に合わなければなりません。最良のひとつの選択 lr = 2 / (k + 1) は、どの歩みも両方の向きで距離の (k - 1) / (k + 1) を残させます:k = 100 では 0.98 です。それより大きいと急な向きが行き過ぎてゆっくり落ち着き(2 / k を超えると際限なく増え)、それより小さいとなだらかな向きがさらにゆっくり這います。なので歩みは谷に沿って這いながら、谷を横切ってジグザグします。

条件数:最も急な曲率と最もなだらかな曲率の比で、ここでは k です。素朴な勾配降下法は、良く進むのにおよそ k 歩が要ります。

曲線を当てる:動かす前に、最良の固定の学習率 2 / (k + 1) を使って、k = 1、10、100 で底から 0.001 以内に入るのに何歩かかるかを予測してください。

まとめ 引き伸ばしは、その引き伸ばしに比例して素朴な降下を遅くします。

このレッスンの言葉と記号
条件数
最も急な向きが最もなだらかな向きよりどれだけ急か
あなたの番

my_guess(3 つの歩数)を埋め、それから steps_to_converge(k) を書いてください:(1, 1) から始め、lr = 2 / (k + 1) を使い、(0, 0) までの距離が 0.001 未満になるまで歩数を数えます(100,000 で止める)。

このレッスンに問題を見つけましたか?報告する · このレッスンについて質問する

この演習はまもなく開きます

その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。