课程大纲 第 148 课,共 246 课 · 第 13 模块:注意力和 transformer
第 13 模块:注意力和 transformer

注意力没有顺序感

为什么重要 “狗咬人”和“人咬狗”用的是同样的词。自注意力本身分不清它们。看清楚为什么,就能解释每一个 transformer 额外加入的那种成分。

把 X 的行打乱,自注意力的输出行也会以同样的方式被打乱,别的什么都不变。每一个位置的结果取决于有哪些向量在场,而不是它们坐在哪里。(有因果掩码时,这并不完全成立:位置 i 恰好能看到 i + 1 个词元,所以模型可以学会去数它们,而没有位置向量的因果模型确实会这样学到顺序。但这又慢又不可靠;显式的位置向量让顺序变得容易。)

所以 transformer 会在第一层之前给每一个词元的嵌入加上一个位置向量。记录下来的 GPT 为每一个位置学了一个向量,一共 32 个。如果我们把它们抹掉,它的预测会怎样?

本课中的词语和符号
注意力
对查询和键的得分做 softmax,用来对值取平均
自注意力
每一个位置都对同一段文本中的各个位置做注意力
因果掩码
把对角线以上的得分设为负无穷:没有哪个位置能看到未来
位置向量
加到每一个词元上,让注意力能分辨顺序
轮到你了

编写 shuffle_check(f):如果对一个随机 X 的行做置换,会让 f 的输出行以同样的方式被置换,就返回 True。这里 f(X, Wq, Wk, Wv) 只返回输出,就像下面的 attn;在 shuffle_check 内部生成随机的 X 和权重。然后填写 with_pos 和 without_pos:记录下来的模型原样时,以及把 model.P["pos"].data 设为零时的留出损失(model.eval_loss(held, n=32))(之后要把它放回去)。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。