第 21 模块:观察模型的内部
关卡:找出信息在哪里(关闭 AI)
你以前学过这门课程吗?
这样我们只统计你一次。只会发送你的答案,以及你的匿名进度。
为什么重要 修补是大多数关于电路的说法被提出的方式。从零开始、在不是你自己挑选的输入上做这件事,就是检验你能否提出一个这样的说法。
关卡规则:AI 导师已关闭。为被记录的 GPT 编写 restoring_positions(clean, bad, answer, site)。clean 和 bad 是两个长度相同、在某处不同的字符串;answer 是 clean 预测的下一个字符。
令 p_clean 和 p_bad 分别为干净的和被破坏的字符串之后 answer 的概率。当在某个位置(在 site 处)修补干净的值,给出的概率至少为 p_bad + keep × (p_clean - p_bad) 时,这个位置就恢复了答案。返回这样的位置的列表,从小到大排列。
检查会在来自留出文本的三对新的字符串上运行你的函数,每次检查都不同,在 'resid0'、'resid1' 和 'final' 处,并和它自己的修补结果做比较。
轮到你了
填写 restoring_positions。在 ("the loss went dow", "the loss went bow", "n") 上试一试。
关闭 AI:这一题没有导师、提示或参考答案。只靠你自己的思考。
本课已完成。干得好。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。