课程大纲 第 36 课,共 246 课 · 第 2 模块:数学和概率,只学需要的
第 2 模块:数学和概率,只学需要的

softmax 的梯度,以及为什么损失把它藏了起来

为什么重要 Softmax 位于注意力的内部,在那里需要单独用到它的梯度。和交叉熵合在一起时,它会化简成非常简单的东西,而知道为什么,才能让你信任那个简单的版本。

完整的梯度

对于 p = softmax(z),每一个输出都依赖于每一个得分。微调 zj,当 i = j 时 pi 移动 pi (1 - pi) 乘以微调量,当 i 不等于 j 时移动 - pi pj:抬高一个得分会把概率从其他所有得分那里拉走。写成一张表(雅可比矩阵):diag(p) - p pT。

反向传播从不构建那张表。已知 g = dL/dp,对 z 的梯度是逐项计算的 p * (g - (g · p)):每一个 pi 乘以它自己的 g 比 g 的概率加权平均高出多少。

很小的数字

p = [0.5, 0.3, 0.2],g = [1, 0, 0]。那么 g · p = 0.5,dL/dz = [0.5 × 0.5, 0.3 × -0.5, 0.2 × -0.5] = [0.25, -0.15, -0.10]。各项加起来为 0:给每一个得分加上同样的量什么都不会改变。

为什么交叉熵让它变简单

当 L = -log py 时,g 在真实类别上是 -1 / py,在其他地方是 0。把它代入 p * (g - (g · p)),就变成了 p - onehot(y):第 3 模块用过的那个公式。那个简单的形式就是这同一个梯度,而不是一条捷径。

回顾 Softmax 的反向:p * (g - g · p)。上面再接交叉熵时:p - onehot。

本课中的词语和符号
softmax
每个得分的 exp 除以总和:得分变成概率
交叉熵
给正确答案的概率的对数的负数
轮到你了

编写 softmax_jacobian(z)(输入一个 1D 得分数组,输出 (n, n) 的表),以及针对 2D 数组(每个例子一行)的 softmax_backward(z, g),逐行使用 p * (g - (g · p)),不构建那张表。隐藏测试会用微调检查两者,并检查用交叉熵的 g 时答案是 p - onehot。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。