课程大纲 第 40 课,共 246 课 · 第 3 模块:从神经元到 MLP
第 3 模块:从神经元到 MLP

往山下走(亲手做梯度下降)

为什么重要 亲手挑权重没法扩展到一百万个权重。梯度会一次告诉每一个权重哪个方向是下坡。

给它起名字

对于损失 L = mean((X @ w + b - y) 的平方),微调 w1,L 就会改变 2 * mean(error * x1),其中 error 是预测减真实值。那就是 L 对 w1 的导数。一次全部算出:grad_w = 2 * X.T @ error / n,以及 grad_b = 2 * mean(error)。

用平实的话来读它

如果在面积大的房子上预测太高(error 为正),那么降低 w1 会有帮助,而 w1 的梯度是正的,所以我们减去它。每一步:w = w - lr * grad_w,其中 lr,也就是学习率,决定步子的大小。

梯度下降:重复“计算梯度,逆着它迈一小步”。学习率:每一步的大小。

预测曲线

在运行训练之前,在 my_guess 里猜出第 0、10、50 和 200 步的损失。代码会把你的猜测打印在真实值旁边。

回顾 求梯度,逆着它迈一步,重复。

本课中的词语和符号
权重(w、W)、偏置(b)
神经元学习的数字;偏置会平移它的输出
学习率(lr)
每一步训练有多大
轮到你了

编写 gradients(X, y, w, b),返回 (grad_w, grad_b),以及 train(X, y, lr, steps),从零开始并返回 (w, b, losses),其中 losses 保存每一步之前的损失。先填写 my_guess。在 lr 为 0.5、按起始代码要求的 201 步下,训练后的损失必须低于 0.01。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。