课程大纲 第 106 课,共 250 课 · 神经网络直觉、LLM 与 AI 综合项目
神经网络直觉、LLM 与 AI 综合项目

用你的引擎训练一个模型

你构建了自动求导引擎。现在用它来真正地学习,也就是训练每一个神经网络的那个循环。Value 类已经给出(它现在也会包装普通数字,所以当 x 是浮点数时 w * x 也能用)。你的任务是写训练循环。

拟合一个单独的权重 w,让 w * x 预测 y。一步梯度下降总是同样的几个动作:

w = Value(0.0)
for step in range(steps):
    loss = Value(0.0)
    for x, y in zip(xs, ys):
        diff = w * x + (-y)          # prediction minus target
        loss = loss + diff * diff    # squared error, summed
    w.grad = 0.0                     # 1) reset the gradient
    loss.backward()                  # 2) backprop to fill w.grad
    w.data -= lr * w.grad            # 3) step downhill

两个容易犯的错误:每次 backward() 之前都要把梯度清零,否则旧的梯度会堆积起来(backward 用的是 +=);还有,要减去 lr * w.grad 才是往下坡走,而不是加上。经过足够多的步数,w 会滑向让损失最小的值,也就是最佳拟合直线。

写 fit(xs, ys, steps, lr),从 w = Value(0.0) 开始,返回最终的 w.data。按 Run,看它学会 y = 2x。

轮到你了

写 fit(xs, ys, steps, lr),用梯度下降拟合一个权重 w(从 Value(0.0) 开始),让 w * x 预测 y。每一步:用 Value 运算把 loss 构建成平方误差之和,设 w.grad = 0.0,调用 loss.backward(),然后 w.data -= lr * w.grad。返回最终的 w.data。Value 类已经提供。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。