课程大纲 第 142 课,共 246 课 · 第 13 模块:注意力和 transformer
第 13 模块:注意力和 transformer

为什么要除以 d 的平方根

为什么重要 每一个 transformer 都会把它的注意力得分除以键大小的平方根。把它去掉,注意力就不再混合,它的梯度也几乎消失。你会测量出为什么。

两个长度为 d 的随机向量的点积,要把 d 个乘积加起来。每个乘积的离散程度大约是 1,所以总和的离散程度大约是 d 的平方根。原因是:当你把独立的随机数加起来时,它们的离散程度并不相加,相加的是离散程度的平方(这些平方叫作方差)。d 个乘积,每个方差为 1,合起来方差为 d,所以离散程度是 d 的平方根。当 d = 64 时,它就是 8。

分布在正负 8 甚至更大范围的得分,会让 softmax 几乎变成 one-hot:一个权重接近 1,其余接近 0。one-hot 的 softmax 梯度非常小:每个输出对它自己得分的斜率是 p(1 - p),当 p 接近 0 或 1 时它接近 0(第 2 模块关于 softmax 梯度的那一课推导过它,而本模块反向穿过注意力的那一课会用到它),所以模型学得很慢。除以 d 的平方根,无论 d 是多少,都能把离散程度拉回到大约 1。

预测:当 d 从 4 增长到 256 时,有除法和没有除法的情况下,最大的那个权重会怎么变化?

本课中的词语和符号
查询、键、值
一个位置在找什么;每个位置提供什么来被匹配;它交出什么
注意力
对查询和键的得分做 softmax,用来对值取平均
轮到你了

填写 my_guess。然后编写 top_weight(d, scaled):2,000 个随机查询,每个对着 32 个随机键(正态分布的数字,种子 0),取最大 softmax 权重的平均值。填写 measured。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。