神经网络直觉、LLM 与 AI 综合项目
用你的引擎训练一个模型
你以前学过这门课程吗?
这样我们只统计你一次。只会发送你的答案,以及你的匿名进度。
你构建了自动求导引擎。现在用它来真正地学习,也就是训练每一个神经网络的那个循环。Value 类已经给出(它现在也会包装普通数字,所以当 x 是浮点数时 w * x 也能用)。你的任务是写训练循环。
拟合一个单独的权重 w,让 w * x 预测 y。一步梯度下降总是同样的几个动作:
w = Value(0.0)
for step in range(steps):
loss = Value(0.0)
for x, y in zip(xs, ys):
diff = w * x + (-y) # prediction minus target
loss = loss + diff * diff # squared error, summed
w.grad = 0.0 # 1) reset the gradient
loss.backward() # 2) backprop to fill w.grad
w.data -= lr * w.grad # 3) step downhill两个容易犯的错误:每次 backward() 之前都要把梯度清零,否则旧的梯度会堆积起来(backward 用的是 +=);还有,要减去 lr * w.grad 才是往下坡走,而不是加上。经过足够多的步数,w 会滑向让损失最小的值,也就是最佳拟合直线。
写 fit(xs, ys, steps, lr),从 w = Value(0.0) 开始,返回最终的 w.data。按 Run,看它学会 y = 2x。
轮到你了
写 fit(xs, ys, steps, lr),用梯度下降拟合一个权重 w(从 Value(0.0) 开始),让 w * x 预测 y。每一步:用 Value 运算把 loss 构建成平方误差之和,设 w.grad = 0.0,调用 loss.backward(),然后 w.data -= lr * w.grad。返回最终的 w.data。Value 类已经提供。
本课已完成。干得好。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。