シラバス レッスン 246 中 40 · モジュール 3:ニューロンから MLP へ
モジュール 3:ニューロンから MLP へ

下り坂を歩く(手での勾配降下法)

なぜ大切か 手で重みを選ぶのは、100 万の重みには通用しません。勾配は、すべての重みにどちらが下り坂かを一度に教えてくれます。

名前を付ける

損失 L = mean((X @ w + b - y) の 2 乗) では、w1 を動かすと L は 2 * mean(error * x1) だけ変わります。error は予測引く真の値です。それが w1 についての L の微分です。すべてを一度に:grad_w = 2 * X.T @ error / n、そして grad_b = 2 * mean(error)。

素朴な言葉で読む

広さの大きな家で予測が高すぎる(error が正)なら、w1 を下げると役に立ち、w1 の勾配は正なので、それを引きます。どのステップも:w = w - lr * grad_w。lr、学習率が歩幅を決めます。

勾配降下法:「勾配を計算し、それに逆らって小さく一歩進む」を繰り返すことです。学習率:それぞれの歩みの大きさです。

曲線を当てる

訓練を動かす前に、ステップ 0、10、50、200 での損失を my_guess に推測してください。コードは推測を本当の値の隣に表示します。

まとめ 勾配、それに逆らって進む、繰り返す。

このレッスンの言葉と記号
重み (w, W)、バイアス (b)
ニューロンが学ぶ数。バイアスはその出力をずらす
学習率 (lr)
訓練のそれぞれのステップの大きさ
あなたの番

(grad_w, grad_b) を返す gradients(X, y, w, b) と、ゼロから始めて (w, b, losses) を返す train(X, y, lr, steps) を書いてください。losses はそれぞれのステップの前の損失を持ちます。まず my_guess を埋めてください。訓練した損失は、lr 0.5 と最初のコードが求める 201 ステップで、0.01 未満で終わらなければなりません。

このレッスンに問題を見つけましたか?報告する · このレッスンについて質問する

この演習はまもなく開きます

その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。