把一个值放回去:激活修补
为什么重要 激活修补(Meng 等人 2022,Wang 等人 2022)通过把一个值从一次运行移到另一次运行中,把“这个部件和答案对得上”变成“这个部件携带着答案”。
两个只差一个字符的输入:
- 干净的:“the gradient of the los”:GPT 给下一个字符“s”的概率是 0.91。
- 被破坏的:“the gradient of the bos”:0.39。
运行被破坏的输入,但在某一个位置和某一个地方,换入来自干净运行的那个向量。如果“s”的概率跳回到 0.91,那个向量就携带着“l”告诉模型的东西。interp.patch(model, clean_ids, bad_ids, site, pos) 会完成交换并返回 logits;interp.next_prob(logits, answer, model) 读取概率。
在 'resid0'(在第 0 块之前,所以只有嵌入)、'resid1'(在两个块之间)和 'final' 上,对最后五个位置试一试。
先预测:在 'resid1' 处,“l”仍然被携带在它自己的位置上,还是在别的地方?
本课中的词语和符号
- 激活修补
- 用取自另一个输入的运行中的一个值来运行一个输入,看看那个值携带着什么
把 my_guess 设为 "own position" 或 "somewhere else"。用一个包含五个概率的列表填写 restored[site],从 len(clean) - 5 到末尾每个位置一个。然后把 where[site] 设为 clean 中能恢复它的那个位置上的字符。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。