内部发生了什么变化:波
为什么重要 Nanda 等人(2023)表明,那些对模加法产生了顿悟的网络,最终是用波来计算它的:每一个数字都变成几个圆上的一个点,而把数字相加就变成了把角度相加。这是少数几个找到了完整机制、并随后得到检验的案例之一。
把每一个嵌入列读作一个由 23 个值组成的列表,从 0 到 22 每个数字一个,并把它拆分成频率从 1 到 11 的波(频率为 k 的波从 0 到 22 绕 k 圈;这种拆分就是傅里叶变换)。interp.frequency_shares(emb) 给出每个频率在嵌入中所占的比例(它们加起来等于 1)。如果模型使用少数几个波,少数几个频率就会占据其中的大部分;如果均匀分布,前 3 名会占 3/11 = 0.27。
单凭一种模式是不够的:用 interp.keep_frequencies(emb, keep) 只用某些频率重建嵌入,并测量测试准确率。如果前 3 名就是机制,那么只保留它们应该能保住大部分准确率,而只去掉它们应该会毁掉准确率。
本课中的词语和符号
- 模式、效应、机制
- 三种证据:看过并看到了;改变了它而输出也变了;解释了它,而这个解释预测了新的情况
- 傅里叶变换
- 把一个由值组成的列表拆分成不同频率的波
加载 g = interp.grok_model()(权重衰减为 3、40,000 步之后的那次被记录的训练)。把 top3 设为它最大的三个频率,把 top3_share 设为它们的总占比,并为三种嵌入设置 test_acc:'all'、'only top 3' 和 'all but top 3'。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。