第 4 模块:你自己的自动微分引擎
矩阵乘法的反向传播
你以前学过这门课程吗?
这样我们只统计你一次。只会发送你的答案,以及你的匿名进度。
为什么重要 矩阵乘法是每一层的主力。它的反向规则只有两行,而你仅凭形状就能推导出来。
很小的数字
取 out = A @ B,其中 A 的形状是 (2, 3),B 的形状是 (3, 4),所以 out 是 (2, 4)。到达的梯度 G 有 out 的形状 (2, 4)。A 的梯度必须有 A 的形状 (2, 3)。用 G (2, 4) 和 B (3, 4) 得到 (2, 3) 的唯一方式是 G @ B.T。同样,B 的梯度 (3, 4) 必须是 A.T @ G。
在脑子里检查一项:out[0, 0] = A[0, 0] B[0, 0] + A[0, 1] B[1, 0] + A[0, 2] B[2, 0]。微调 A[0, 1],out[0, 0] 就会移动 B[1, 0] 乘以微调量。当 G 在 (0, 0) 处为 1、其他地方为 0 时,这恰好就是 G @ B.T 的 (0, 1) 项。
回顾 dA = G @ B.T,dB = A.T @ G。如果你忘了,就去匹配形状。
本课中的词语和符号
- Tensor
- 在这里指:一个数组,加上它的梯度,再加上它所来自的那些 Tensor
- .grad
- 最终损失关于这个 Tensor 的梯度
- unbroadcast
- 把一个梯度求和还原成它被拉伸之前的形状
轮到你了
编写 __matmul__ 及其 _backward。隐藏的测试会对随机形状的 (A @ B) * C 做梯度检查。
本课已完成。干得好。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。