第 4 模块:你自己的自动微分引擎
加法和乘法的反向传播
你以前学过这门课程吗?
这样我们只统计你一次。只会发送你的答案,以及你的匿名进度。
为什么重要 有了这两条规则和排序,你的引擎就已经能对任何由加法和乘法组成的公式求导了。
每一种运算都会在它创建的 Tensor 上附加一个小函数 _backward。被调用时,它读取 out.grad,并把它的那一份加到每一个父节点的 grad 上:
- 对于
out = a + b:a 得到out.grad,b 得到out.grad。 - 对于
out = a * b:a 得到out.grad * b.data,b 得到out.grad * a.data。
总是加到父节点的 grad 上(+= 的方式),永远不要覆盖:一个被用了两次的节点必须收集两份贡献。然后 backward() 把最终节点的 grad 设为 1,并按拓扑顺序的逆序调用每一个 _backward。
(顶部导入的、已提供的 unbroadcast 辅助函数,会处理被广播拉伸过的形状。你会在两课之后写出你自己的版本;现在,把每一份贡献都用它包起来。)
本课中的词语和符号
- Tensor
- 在这里指:一个数组,加上它的梯度,再加上它所来自的那些 Tensor
- 拓扑顺序
- 每一个节点都列在它所依赖的节点之后
- .grad
- 最终损失关于这个 Tensor 的梯度
- unbroadcast
- 把一个梯度求和还原成它被拉伸之前的形状
轮到你了
填写两个 _backward 函数和 backward 方法。隐藏的测试会对混合了 + 和 * 的公式做梯度检查,包括一个被用了两次的节点。
本课已完成。干得好。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。