课程大纲 第 228 课,共 246 课 · 第 21 模块:观察模型的内部
第 21 模块:观察模型的内部

关卡:找出信息在哪里(关闭 AI)

为什么重要 修补是大多数关于电路的说法被提出的方式。从零开始、在不是你自己挑选的输入上做这件事,就是检验你能否提出一个这样的说法。

关卡规则:AI 导师已关闭。为被记录的 GPT 编写 restoring_positions(clean, bad, answer, site)。clean 和 bad 是两个长度相同、在某处不同的字符串;answer 是 clean 预测的下一个字符。

令 p_clean 和 p_bad 分别为干净的和被破坏的字符串之后 answer 的概率。当在某个位置(在 site 处)修补干净的值,给出的概率至少为 p_bad + keep × (p_clean - p_bad) 时,这个位置就恢复了答案。返回这样的位置的列表,从小到大排列。

检查会在来自留出文本的三对新的字符串上运行你的函数,每次检查都不同,在 'resid0'、'resid1' 和 'final' 处,并和它自己的修补结果做比较。

轮到你了

填写 restoring_positions。在 ("the loss went dow", "the loss went bow", "n") 上试一试。

关闭 AI:这一题没有导师、提示或参考答案。只靠你自己的思考。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。