课程大纲 第 29 课,共 246 课 · 第 2 模块:数学和概率,只学需要的
第 2 模块:数学和概率,只学需要的

整个矩阵的梯度(形状规则)

为什么重要 层作用在整个矩阵上,所以它们的梯度也是矩阵。一条规则加一个诀窍,不用背任何东西就能推导出几乎每一层的反向传播。

形状规则

损失 L 是一个数字。L 对任何数组的梯度都具有和那个数组完全相同的形状:每一项一个斜率。所以如果 W 是 (3, 4),dL/dW 就是 (3, 4)。

很小的数字:Y = X @ W

假设 X 是 (2, 3),W 是 (3, 4),Y = X @ W 是 (2, 4),之后的某些步骤把 Y 变成 L。反向传播交给你 G = dL/dY,形状为 (2, 4)。每一项 Y[i, j] 都是对 k 求和 X[i, k] W[k, j]。微调 W[k, j]:它会让第 j 列中的每一个 Y[i, j] 移动 X[i, k] 乘以微调量。所以 dL/dW[k, j] = 对 i 求和 X[i, k] G[i, j]。那就是 X.T @ G 的一项,而 X.T @ G 是 (3, 4):正如规则所说,是 W 的形状。

对 X 用同样的推理得到 dL/dX = G @ W.T,形状为 (2, 3)。一个记住两者的快速方法:把 G 和另一个矩阵的转置放在一起,用唯一一种形状对得上的顺序。

雅可比矩阵,以及为什么没人去构建它

记录每一个输出项如何随每一个输入项移动的完整表格,就是雅可比矩阵。对于 W 大小为 1000 乘 1000、有 64 行的 Y = X @ W,这张表会有 6 万 4 千个输出乘以一百万个权重:640 亿项。反向传播从不构建它:它只需要 G 乘以雅可比矩阵,也就是那个很小的乘积 X.T @ G。这个乘积就是上一课讲的向量-雅可比积。

雅可比矩阵:每一个输出对每一个输入的斜率,写成一张大表。向量-雅可比积:被往回推过一个步骤的梯度,不用那张表而直接算出来。

回顾 和那个东西形状相同。对于 Y = X @ W:dW = X.T @ G,以及 dX = G @ W.T。

本课中的词语和符号
向量
一组数字,每个特征一个
导数(df/dx)
输入每微调一个单位,输出变化得有多快
轮到你了

为 Y = X @ W 编写 matmul_grads(X, W, G),返回 (dX, dW);为 Y = A * B(形状相同,逐项相乘)编写 elementwise_grads(A, B, G),返回 (dA, dB)。隐藏测试会在你没见过的形状上用微调检查两者。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。