课程大纲 第 145 课,共 246 课 · 第 13 模块:注意力和 transformer
第 13 模块:注意力和 transformer

因果掩码:不许偷看

为什么重要 一个被训练来预测下一个字符的模型,绝不能看到下一个字符。没有掩码,它可以直接抄答案,在训练中看起来很棒,然后在生成时失败,因为在生成的时候,未来还不存在。

看见它

播放动画。位置 i 只能对位置 0 到 i 做注意力。在 softmax 之前,对角线以上的每一个得分都被设为负无穷,所以它的权重恰好变成 0。于是权重构成一个下三角。

检查泄漏的方法很直接:改变位置 j 上的一个字符,模型为 j 之前的位置计算出的任何东西都不许改变。

当课程在没有掩码的情况下把一个宽度为 32 的 GPT 训练 1,200 步时,它的训练损失降到了 0.10,而有掩码时是 1.51:它学会了几乎完美地从下一个位置抄答案。诚实地测量,在没见过的文本上并且不让它往前看,它的损失是 8.6 对 2.3。那个更低的数字是个谎言:这个模型要差得多。(早期,在 400 步时,两次运行看起来还差不多,2.28 对 2.24。抄答案需要一段时间才能被发现,然后它就接管了一切。)

本课中的词语和符号
注意力
对查询和键的得分做 softmax,用来对值取平均
因果掩码
把对角线以上的得分设为负无穷:没有哪个位置能看到未来
头
H 个并排运行的较窄注意力之一,每个都有它自己的模式
轮到你了

像第 4 课那样编写 causal_attention(X, Wq, Wk, Wv),只是加上掩码。然后编写 leaks(f):如果改变一个随机 X 的最后一行会改变 f 输出中前面的任何一行,就返回 True。这里 f 是任何像你的函数那样调用的注意力函数,f(X, Wq, Wk, Wv),返回 (output, weights);在 leaks 内部生成随机的 X 和权重。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。