softmax 的梯度,以及为什么损失把它藏了起来
为什么重要 Softmax 位于注意力的内部,在那里需要单独用到它的梯度。和交叉熵合在一起时,它会化简成非常简单的东西,而知道为什么,才能让你信任那个简单的版本。
完整的梯度
对于 p = softmax(z),每一个输出都依赖于每一个得分。微调 zj,当 i = j 时 pi 移动 pi (1 - pi) 乘以微调量,当 i 不等于 j 时移动 - pi pj:抬高一个得分会把概率从其他所有得分那里拉走。写成一张表(雅可比矩阵):diag(p) - p pT。
反向传播从不构建那张表。已知 g = dL/dp,对 z 的梯度是逐项计算的 p * (g - (g · p)):每一个 pi 乘以它自己的 g 比 g 的概率加权平均高出多少。
很小的数字
p = [0.5, 0.3, 0.2],g = [1, 0, 0]。那么 g · p = 0.5,dL/dz = [0.5 × 0.5, 0.3 × -0.5, 0.2 × -0.5] = [0.25, -0.15, -0.10]。各项加起来为 0:给每一个得分加上同样的量什么都不会改变。
为什么交叉熵让它变简单
当 L = -log py 时,g 在真实类别上是 -1 / py,在其他地方是 0。把它代入 p * (g - (g · p)),就变成了 p - onehot(y):第 3 模块用过的那个公式。那个简单的形式就是这同一个梯度,而不是一条捷径。
回顾 Softmax 的反向:p * (g - g · p)。上面再接交叉熵时:p - onehot。
本课中的词语和符号
- softmax
- 每个得分的 exp 除以总和:得分变成概率
- 交叉熵
- 给正确答案的概率的对数的负数
编写 softmax_jacobian(z)(输入一个 1D 得分数组,输出 (n, n) 的表),以及针对 2D 数组(每个例子一行)的 softmax_backward(z, g),逐行使用 p * (g - (g · p)),不构建那张表。隐藏测试会用微调检查两者,并检查用交叉熵的 g 时答案是 p - onehot。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。