シラバス レッスン 246 中 64 · モジュール 5:最適化
モジュール 5:最適化

歩ける損失の地形

なぜ大切か どの最適化手法も、見えない地形で下り坂を歩く違うやり方です。まず単純なものを歩きましょう。

損失を地形として思い浮かべてください。2 つの重みが地図の上の位置で、損失が高さです。訓練は下り坂を歩くことです。勾配は上り坂を指すので、どの歩みも反対向きに進みます:position = position - lr * gradient。

小さな数

お椀 f(x, y) = x squared + y squared(x の 2 乗足す y の 2 乗) では、(3, 4) での勾配は (6, 8) です。lr 0.1 では歩みは (3 - 0.6, 4 - 0.8) = (2.4, 3.2) へ進みます。どの歩みも底までの距離の 80% を残すので、20 歩のあとには始めた場所の約 1% にいます。

学習率:勾配に対してどれだけ遠くへ進むかです。小さすぎると這い、大きすぎると行き過ぎます。

まとめ 勾配に逆らって進む。学習率が歩幅を決める。

あなたの番

訪れた位置(始まりも含む)のリストを NumPy の配列として返す descend(grad, start, lr, steps) を書いてください。それから、レッスンのお椀で (3, 4) から始めて、最大 15 歩で底から 0.01 以内に入るよう my_lr を選んでください。

このレッスンに問題を見つけましたか?報告する · このレッスンについて質問する

この演習はまもなく開きます

その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。