课程大纲 第 46 课,共 246 课 · 第 3 模块:从神经元到 MLP
第 3 模块:从神经元到 MLP

一个你整个课程都会用到的梯度检查器

为什么重要 错误的梯度不会让程序崩溃。训练只会悄无声息地变糟。梯度检查器几秒钟就能抓住错误,而你在每一个模块里都会用到这个检查器。

思路就是第 2 模块的微调,对每一个权重都做一遍:把权重 i 往上和往下各微调 h,两次都测量损失,再把差除以 2h。和你公式算出的梯度比较。

多接近才算接近?

使用相对误差:|a - b| 除以 |a| 和 |b| 中较大的那个(如果两者都很小,就用 1e-8)。低于 1e-6 算通过;高于 1e-3 几乎总是意味着有 bug。

梯度检查:把解析梯度(来自你的公式)和数值梯度(来自微调)进行比较。

回顾 慢但可信的裁判。在信任任何新的梯度之前先用它。

本课中的词语和符号
学习率(lr)
每一步训练有多大
梯度检查
把你的梯度公式和“微调再测量”的估计进行比较
轮到你了

编写 numeric_grad(f, w, h=1e-5)(w 是任意形状的 NumPy 数组;返回一个同样形状的数组),以及返回最大相对误差的 grad_check(f, grad, w)。这里 f(w) 接收权重数组并返回一个数字作为损失,而 grad 是一个数组(你的公式在 w 处的梯度,已经算好了),不是一个函数。不要永久地改动 w。要访问任意形状数组的每一个位置,for idx in np.ndindex(w.shape): 会依次给出每一个索引元组。隐藏测试会给你的检查器喂三个有细微错误的梯度;每一个的得分都必须高于 1e-3。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。