往山下走(亲手做梯度下降)
为什么重要 亲手挑权重没法扩展到一百万个权重。梯度会一次告诉每一个权重哪个方向是下坡。
给它起名字
对于损失 L = mean((X @ w + b - y) 的平方),微调 w1,L 就会改变 2 * mean(error * x1),其中 error 是预测减真实值。那就是 L 对 w1 的导数。一次全部算出:grad_w = 2 * X.T @ error / n,以及 grad_b = 2 * mean(error)。
用平实的话来读它
如果在面积大的房子上预测太高(error 为正),那么降低 w1 会有帮助,而 w1 的梯度是正的,所以我们减去它。每一步:w = w - lr * grad_w,其中 lr,也就是学习率,决定步子的大小。
梯度下降:重复“计算梯度,逆着它迈一小步”。学习率:每一步的大小。
预测曲线
在运行训练之前,在 my_guess 里猜出第 0、10、50 和 200 步的损失。代码会把你的猜测打印在真实值旁边。
回顾 求梯度,逆着它迈一步,重复。
本课中的词语和符号
- 权重(w、W)、偏置(b)
- 神经元学习的数字;偏置会平移它的输出
- 学习率(lr)
- 每一步训练有多大
编写 gradients(X, y, w, b),返回 (grad_w, grad_b),以及 train(X, y, lr, steps),从零开始并返回 (w, b, losses),其中 losses 保存每一步之前的损失。先填写 my_guess。在 lr 为 0.5、按起始代码要求的 201 步下,训练后的损失必须低于 0.01。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。