第 4 模块:你自己的自动微分引擎
当形状被拉伸时的反向传播(广播)
你以前学过这门课程吗?
这样我们只统计你一次。只会发送你的答案,以及你的匿名进度。
为什么重要 这是世界上最常见的自动微分缺陷。一个形状为 (4,) 的偏置被加到一个形状为 (32, 4) 的批次上,它被用了 32 次,所以它的梯度必须把全部 32 份贡献加起来。
很小的数字
out = X + b,其中 X 是 (3, 2),b 是 (2,)。到达的梯度是 (3, 2)。b 被复制到了全部 3 行,所以每一份副本都收到了一份:b 的梯度是在各行上的和,形状为 (2,)。如果你交回那个 (3, 2) 的数组,形状就不再匹配,或者更糟,广播会把它掩盖起来,而数字错了 3 倍。
规则是:凡是广播增加了一个维度的地方,就把它求和消掉;凡是它拉伸了一个大小为 1 的维度的地方,就对它求和,但让它保持大小为 1。
回顾 向前时被复制,向后时就要求和。
本课中的词语和符号
- 自动微分
- 自动的梯度:你写前向传播,引擎做反向传播
- Tensor
- 在这里指:一个数组,加上它的梯度,再加上它所来自的那些 Tensor
- .grad
- 最终损失关于这个 Tensor 的梯度
- unbroadcast
- 把一个梯度求和还原成它被拉伸之前的形状
轮到你了
编写 unbroadcast(grad, shape):把 grad 求和还原成 shape。你的加法和乘法已经在调用它了。
本课已完成。干得好。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。