自分のエンジンでモデルを学習させる
自動微分エンジンを作りました。今度はそれを使って実際に 学習 させます。あらゆるニューラルネットワークを学習させるループです。Value クラスは与えられています(今はふつうの数も包むので、x が float でも w * x が動きます)。あなたの仕事は学習ループです。
w * x が y を予測するよう、ひとつの重み w を当てはめます。勾配降下法 の一歩は、いつも同じ動きです:
w = Value(0.0)
for step in range(steps):
loss = Value(0.0)
for x, y in zip(xs, ys):
diff = w * x + (-y) # prediction minus target
loss = loss + diff * diff # squared error, summed
w.grad = 0.0 # 1) reset the gradient
loss.backward() # 2) backprop to fill w.grad
w.data -= lr * w.grad # 3) step downhillありがちな間違いが 2 つあります。backward() の前には毎回 勾配をゼロにする こと。そうしないと古い勾配がたまっていきます(backward は += を使います)。そして下り坂へ行くには lr * w.grad を足すのではなく 引く こと。十分な回数を重ねると、w は損失を最小にする値、つまり最もよく当てはまる直線へと滑っていきます。
w = Value(0.0) から始めて最終的な w.data を返す fit(xs, ys, steps, lr) を書いてください。Run を押して、y = 2x を学ぶのを見てみましょう。
w * x が y を予測するよう、勾配降下法で重み w(Value(0.0) から始める)を当てはめる fit(xs, ys, steps, lr) を書いてください。各ステップ:Value の演算で二乗誤差の合計として loss を作り、w.grad = 0.0 とし、loss.backward()、それから w.data -= lr * w.grad。最終的な w.data を返します。Value クラスは用意されています。
この演習はまもなく開きます
その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。
このブラウザは learn.floati.life の Cookie をブロックしているため、ここで修了したレッスンを順番どおりに開けません。このサイトの Cookie を許可して再読み込みしてください。