课程大纲 第 222 课,共 246 课 · 第 21 模块:观察模型的内部
第 21 模块:观察模型的内部

寻找一个归纳头

为什么重要 归纳头(Olsson 等人 2022)是可解释性中最有名的故事:一个头找到当前词元更早的副本,并关注它后面的那个词元,这样模型就能延续一次重复。它在大型模型中是真实存在的。错误在于,因为一个小模型会复制,就假设它也是以同样的方式复制的。

课程训练了一个只用来复制的 2 块 GPT:每一行都是一段由 4 到 16 个字母组成的随机序列,重复下去填满 32 个位置。第一段没法预测(损失大约是 ln 26 = 3.26);在它之后,每一个字母都可以被复制。模型学会了复制:它在重复部分上的损失大约是 0.13 到 0.15(取决于样本)。

教科书上的预测是:某个头会把它的大部分注意力放在当前字母更早的一个副本之后的那个字母上。去测量它。对每一个头,计算在重复位置上取平均后,落在那些前一个字母等于当前字母的位置 j 上的注意力所占的比例。和均匀的注意力比较,后者会均匀地分布在所有更早的位置上。然后去掉每一个头,并测量重复部分的损失。

先预测:会有一个头把超过一半的注意力放在那里吗?

这个领域如今的状况 归纳头是真实存在的:Olsson 等人(2022)发现,在普通文本上训练的模型中,包括只有注意力的两层模型中,它们会以一种突然的相变形成。为什么这里没有?这个模型有 MLP 和层归一化,只在一个有好几种可能解法的合成复制任务上短暂地训练过,而它找到了另一种解法。这正是这一课的重点,也是它的局限:一个没有显示出某个已发表效应的玩具,并不是反对那个效应的证据。这门课中小模型的结果,是对那些模型的测量;到了大规模时,有些会成立,有些则不会。

本课中的词语和符号
可解释性
弄清楚一个训练好的网络在内部计算什么,并检验它
模式、效应、机制
三种证据:看过并看到了;改变了它而输出也变了;解释了它,而这个解释预测了新的情况
归纳头
一个找到当前词元更早的副本、并关注它后面那个词元的头
轮到你了

把 my_guess 设为 "yes" 或 "no"。编写 induction_share(A, X, Ls):对于一个头的注意力权重 A (B, t, t),在各行 b 和重复位置 i(从 Ls[b] 到 t - 1)上取平均,计算落在满足 X[b, j - 1] == X[b, i](j ≥ 1)的位置 j ≤ i 上的注意力。为 8 个头填写 share[(layer, head)],并用那个头被设为零时的重复部分损失填写 removed[(layer, head)]。把 needed 设为去掉后伤害最大的那个头。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。