课程大纲 第 223 课,共 246 课 · 第 21 模块:观察模型的内部
第 21 模块:观察模型的内部

特征比空间多:叠加

为什么重要 如果每个单元都只代表一样东西,读懂一个网络就会很容易。它们通常并非如此,而 Elhage 等人(2022)的玩具模型说明了原因:只要特征很少同时开启,一个网络就能存储比它拥有的数字更多的特征。

这个玩具:5 个特征,每一个大部分时间为 0,其余时候是一个 0 到 1 之间的数。一个矩阵 W(2 × 5)把它们压缩成仅仅 2 个数字,h = W x,而模型以 relu(WT h + b) 的方式把它们读回来。特征 i 在损失中的分量是 0.9i(特征 0 最重要)。W 的第 i 列就是特征 i 被存储的方向;一个接近零的列意味着这个特征被丢掉了。

interp.superposition(sparsity=s) 会训练它(s = 每个特征为 0 的概率)。interp.stored(W) 列出它保留的特征,interp.angles(W) 给出它们之间的角度。

先预测:当特征很少开启时(稀疏度 0.97),2 个数字能保留 5 个特征中的多少个?

本课中的词语和符号
叠加
以很少同时开启的方向的形式,存储比数字的个数更多的特征
轮到你了

把 my_guess 设为一个 2 到 5 之间的数字。在稀疏度 0、0.7 和 0.97 下训练(种子 0),用存储下来的特征数量填写 kept[s],并用两个存储下来的特征之间最小的角度填写 smallest_angle[s]。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。