シラバス レッスン 250 中 106 · ニューラルネットの直感、LLM と AI キャップストーン
ニューラルネットの直感、LLM と AI キャップストーン

自分のエンジンでモデルを学習させる

自動微分エンジンを作りました。今度はそれを使って実際に 学習 させます。あらゆるニューラルネットワークを学習させるループです。Value クラスは与えられています(今はふつうの数も包むので、x が float でも w * x が動きます)。あなたの仕事は学習ループです。

w * x が y を予測するよう、ひとつの重み w を当てはめます。勾配降下法 の一歩は、いつも同じ動きです:

w = Value(0.0)
for step in range(steps):
    loss = Value(0.0)
    for x, y in zip(xs, ys):
        diff = w * x + (-y)          # prediction minus target
        loss = loss + diff * diff    # squared error, summed
    w.grad = 0.0                     # 1) reset the gradient
    loss.backward()                  # 2) backprop to fill w.grad
    w.data -= lr * w.grad            # 3) step downhill

ありがちな間違いが 2 つあります。backward() の前には毎回 勾配をゼロにする こと。そうしないと古い勾配がたまっていきます(backward は += を使います)。そして下り坂へ行くには lr * w.grad を足すのではなく 引く こと。十分な回数を重ねると、w は損失を最小にする値、つまり最もよく当てはまる直線へと滑っていきます。

w = Value(0.0) から始めて最終的な w.data を返す fit(xs, ys, steps, lr) を書いてください。Run を押して、y = 2x を学ぶのを見てみましょう。

あなたの番

w * x が y を予測するよう、勾配降下法で重み w(Value(0.0) から始める)を当てはめる fit(xs, ys, steps, lr) を書いてください。各ステップ:Value の演算で二乗誤差の合計として loss を作り、w.grad = 0.0 とし、loss.backward()、それから w.data -= lr * w.grad。最終的な w.data を返します。Value クラスは用意されています。

このレッスンに問題を見つけましたか?報告する · このレッスンについて質問する

この演習はまもなく開きます

その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。