第 4 模块:你自己的自动微分引擎
把检查器对准你的引擎
你以前学过这门课程吗?
这样我们只统计你一次。只会发送你的答案,以及你的匿名进度。
为什么重要 一个有一条错误规则的引擎也会训练,又慢又差,而你可能永远不会知道。从现在起,每一种新的运算都要在使用之前检查。
你在第 3 模块写的检查器微调的是 NumPy 数组。在这里,就地微调一个 Tensor 的 data,重新构建计算,然后和 backward 留在 .grad 中的东西做比较。
配方是:(1) 构建输出并调用一次 backward(),得到引擎的梯度。(2) 对于每一个输入的每一项,把 data 向上和向下微调,重新构建,并读取输出的值。(3) 报告最大的相对误差。
回顾 在一条新的反向规则通过检查之前,永远不要相信它。
本课中的词语和符号
- Tensor
- 在这里指:一个数组,加上它的梯度,再加上它所来自的那些 Tensor
- .grad
- 最终损失关于这个 Tensor 的梯度
- unbroadcast
- 把一个梯度求和还原成它被拉伸之前的形状
轮到你了
编写 engine_check(build, inputs):build() 返回一个由列表 inputs 中的 Tensor 计算出的标量 Tensor。返回引擎的梯度和微调得到的梯度之间最大的相对误差。在调用 backward 之前,把每一个输入的 grad 重置为零。隐藏的测试会在引擎中一次植入一个缺陷,共三个;你的检查器必须对每一个都报告高于 1e-3 的误差,对正确的引擎报告低于 1e-6 的误差。
本课已完成。干得好。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。