课程大纲 第 220 课,共 246 课 · 第 21 模块:观察模型的内部
第 21 模块:观察模型的内部

把一个值放回去:激活修补

为什么重要 激活修补(Meng 等人 2022,Wang 等人 2022)通过把一个值从一次运行移到另一次运行中,把“这个部件和答案对得上”变成“这个部件携带着答案”。

两个只差一个字符的输入:

  • 干净的:“the gradient of the los”:GPT 给下一个字符“s”的概率是 0.91。
  • 被破坏的:“the gradient of the bos”:0.39。

运行被破坏的输入,但在某一个位置和某一个地方,换入来自干净运行的那个向量。如果“s”的概率跳回到 0.91,那个向量就携带着“l”告诉模型的东西。interp.patch(model, clean_ids, bad_ids, site, pos) 会完成交换并返回 logits;interp.next_prob(logits, answer, model) 读取概率。

在 'resid0'(在第 0 块之前,所以只有嵌入)、'resid1'(在两个块之间)和 'final' 上,对最后五个位置试一试。

先预测:在 'resid1' 处,“l”仍然被携带在它自己的位置上,还是在别的地方?

本课中的词语和符号
激活修补
用取自另一个输入的运行中的一个值来运行一个输入,看看那个值携带着什么
轮到你了

把 my_guess 设为 "own position" 或 "somewhere else"。用一个包含五个概率的列表填写 restored[site],从 len(clean) - 5 到末尾每个位置一个。然后把 where[site] 设为 clean 中能恢复它的那个位置上的字符。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。