注意力没有顺序感
为什么重要 “狗咬人”和“人咬狗”用的是同样的词。自注意力本身分不清它们。看清楚为什么,就能解释每一个 transformer 额外加入的那种成分。
把 X 的行打乱,自注意力的输出行也会以同样的方式被打乱,别的什么都不变。每一个位置的结果取决于有哪些向量在场,而不是它们坐在哪里。(有因果掩码时,这并不完全成立:位置 i 恰好能看到 i + 1 个词元,所以模型可以学会去数它们,而没有位置向量的因果模型确实会这样学到顺序。但这又慢又不可靠;显式的位置向量让顺序变得容易。)
所以 transformer 会在第一层之前给每一个词元的嵌入加上一个位置向量。记录下来的 GPT 为每一个位置学了一个向量,一共 32 个。如果我们把它们抹掉,它的预测会怎样?
本课中的词语和符号
- 注意力
- 对查询和键的得分做 softmax,用来对值取平均
- 自注意力
- 每一个位置都对同一段文本中的各个位置做注意力
- 因果掩码
- 把对角线以上的得分设为负无穷:没有哪个位置能看到未来
- 位置向量
- 加到每一个词元上,让注意力能分辨顺序
编写 shuffle_check(f):如果对一个随机 X 的行做置换,会让 f 的输出行以同样的方式被置换,就返回 True。这里 f(X, Wq, Wk, Wv) 只返回输出,就像下面的 attn;在 shuffle_check 内部生成随机的 X 和权重。然后填写 with_pos 和 without_pos:记录下来的模型原样时,以及把 model.P["pos"].data 设为零时的留出损失(model.eval_loss(held, n=32))(之后要把它放回去)。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。