课程大纲 第 104 课,共 250 课 · 神经网络直觉、LLM 与 AI 综合项目
神经网络直觉、LLM 与 AI 综合项目

反向传播与梯度检查

你通过把权重往下坡微调,训练了一个玩具模型。但梯度从哪里来?你又怎么知道它们是对的?这一课回答这两个问题,而第二个答案,梯度检查,正是把能工作的神经网络和悄悄出错的神经网络区分开来的那个习惯。

反向传播就是链式法则。让一个样本经过一个小模型:预测 z = w * x,然后衡量平方误差 L = (z - y)**2。要改进 w,你需要 dL/dw。分两跳计算,再相乘:

dL/dz = 2 * (z - y)        # how loss moves with the prediction
dz/dw = x                  # how the prediction moves with w
dL/dw = dL/dz * dz/dw = 2 * (z - y) * x

这个乘积就是缩小版的反向传播:每一层都把反向流过来的梯度乘以它自己的局部导数。把一百万个这样的东西堆起来,你就有了一个深度网络。

那么,你的公式对吗?用数值来验证。导数的定义就是一次微小的推动,所以用中心有限差分来估计它,并检查解析梯度与之一致:

numeric = (L(w + h) - L(w - h)) / (2 * h)   # h tiny, e.g. 1e-5
assert abs(analytic - numeric) < 1e-6   # they should agree to many digits

如果两者不一致,你的反向传播就有 bug,每一个严肃的深度学习代码库都会做梯度检查,原因正在于此。

构建两个函数。loss(w, x, y) 返回 (w*x - y)**2。grad(w, x, y) 返回解析梯度 dL/dw = 2*(w*x - y)*x。隐藏测试会在许多随机点上,拿你的 grad 和你自己的 loss 的有限差分做梯度检查,所以错误的公式无法通过。按 Run,看解析值和数值对上。

轮到你了

写 loss(w, x, y),返回平方误差 (w*x - y)**2;再写 grad(w, x, y),返回它对 w 的解析梯度,按链式法则就是 2*(w*x - y)*x。你的 grad 会在许多随机点上和你自己的 loss 的中心有限差分做梯度检查,所以它必须是真正的导数,而不是近似值或常数。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。