下り坂を歩く(手での勾配降下法)
なぜ大切か 手で重みを選ぶのは、100 万の重みには通用しません。勾配は、すべての重みにどちらが下り坂かを一度に教えてくれます。
名前を付ける
損失 L = mean((X @ w + b - y) の 2 乗) では、w1 を動かすと L は 2 * mean(error * x1) だけ変わります。error は予測引く真の値です。それが w1 についての L の微分です。すべてを一度に:grad_w = 2 * X.T @ error / n、そして grad_b = 2 * mean(error)。
素朴な言葉で読む
広さの大きな家で予測が高すぎる(error が正)なら、w1 を下げると役に立ち、w1 の勾配は正なので、それを引きます。どのステップも:w = w - lr * grad_w。lr、学習率が歩幅を決めます。
勾配降下法:「勾配を計算し、それに逆らって小さく一歩進む」を繰り返すことです。学習率:それぞれの歩みの大きさです。
曲線を当てる
訓練を動かす前に、ステップ 0、10、50、200 での損失を my_guess に推測してください。コードは推測を本当の値の隣に表示します。
まとめ 勾配、それに逆らって進む、繰り返す。
このレッスンの言葉と記号
- 重み (w, W)、バイアス (b)
- ニューロンが学ぶ数。バイアスはその出力をずらす
- 学習率 (lr)
- 訓練のそれぞれのステップの大きさ
(grad_w, grad_b) を返す gradients(X, y, w, b) と、ゼロから始めて (w, b, losses) を返す train(X, y, lr, steps) を書いてください。losses はそれぞれのステップの前の損失を持ちます。まず my_guess を埋めてください。訓練した損失は、lr 0.5 と最初のコードが求める 201 ステップで、0.01 未満で終わらなければなりません。
この演習はまもなく開きます
その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。
このブラウザは learn.floati.life の Cookie をブロックしているため、ここで修了したレッスンを順番どおりに開けません。このサイトの Cookie を許可して再読み込みしてください。