第 21 模块:观察模型的内部
哪些部件要紧
你以前学过这门课程吗?
这样我们只统计你一次。只会发送你的答案,以及你的匿名进度。
为什么重要 在解释一个部件之前,先弄清楚它到底有没有做什么。去掉部件(消融)是你能测量的最廉价的效应,而它会改变你去看的地方。
GPT 的每一个块都有一个注意力部分(写入 'attn_out0'、'attn_out1')和一个 MLP(写入 'mlp_out0'、'mlp_out1')。一次去掉一个(把它的输出设为零),并测量留出损失的上升。然后用 interp.head_effects(model, X, Y, 1) 一次去掉第 1 块四个头中的一个。
一个风险:如果两个头做同样的工作,单独去掉其中任何一个几乎都显示不出什么。所以还要把四个单头的上升加起来,和一次性去掉第 1 块全部注意力做比较。如果一起去掉它们的伤害远大于总和,它们就是在互相备份。
本课中的词语和符号
- 模式、效应、机制
- 三种证据:看过并看到了;改变了它而输出也变了;解释了它,而这个解释预测了新的情况
- 消融
- 去掉一个部件(把它的输出设为零)并测量什么发生了变化
轮到你了
为四个部件填写 rise,用四个单头的上升填写 heads1,然后如果去掉第 1 块的全部注意力的代价超过它各个头单独代价之和的两倍,就把 backup 设为 True,并把 biggest 设为去掉后代价最大的那个部件。
本课已完成。干得好。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。