课程大纲 第 227 课,共 246 课 · 第 21 模块:观察模型的内部
第 21 模块:观察模型的内部

内部发生了什么变化:波

为什么重要 Nanda 等人(2023)表明,那些对模加法产生了顿悟的网络,最终是用波来计算它的:每一个数字都变成几个圆上的一个点,而把数字相加就变成了把角度相加。这是少数几个找到了完整机制、并随后得到检验的案例之一。

把每一个嵌入列读作一个由 23 个值组成的列表,从 0 到 22 每个数字一个,并把它拆分成频率从 1 到 11 的波(频率为 k 的波从 0 到 22 绕 k 圈;这种拆分就是傅里叶变换)。interp.frequency_shares(emb) 给出每个频率在嵌入中所占的比例(它们加起来等于 1)。如果模型使用少数几个波,少数几个频率就会占据其中的大部分;如果均匀分布,前 3 名会占 3/11 = 0.27。

单凭一种模式是不够的:用 interp.keep_frequencies(emb, keep) 只用某些频率重建嵌入,并测量测试准确率。如果前 3 名就是机制,那么只保留它们应该能保住大部分准确率,而只去掉它们应该会毁掉准确率。

本课中的词语和符号
模式、效应、机制
三种证据:看过并看到了;改变了它而输出也变了;解释了它,而这个解释预测了新的情况
傅里叶变换
把一个由值组成的列表拆分成不同频率的波
轮到你了

加载 g = interp.grok_model()(权重衰减为 3、40,000 步之后的那次被记录的训练)。把 top3 设为它最大的三个频率,把 top3_share 设为它们的总占比,并为三种嵌入设置 test_acc:'all'、'only top 3' 和 'all but top 3'。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。