特征比空间多:叠加
为什么重要 如果每个单元都只代表一样东西,读懂一个网络就会很容易。它们通常并非如此,而 Elhage 等人(2022)的玩具模型说明了原因:只要特征很少同时开启,一个网络就能存储比它拥有的数字更多的特征。
这个玩具:5 个特征,每一个大部分时间为 0,其余时候是一个 0 到 1 之间的数。一个矩阵 W(2 × 5)把它们压缩成仅仅 2 个数字,h = W x,而模型以 relu(WT h + b) 的方式把它们读回来。特征 i 在损失中的分量是 0.9i(特征 0 最重要)。W 的第 i 列就是特征 i 被存储的方向;一个接近零的列意味着这个特征被丢掉了。
interp.superposition(sparsity=s) 会训练它(s = 每个特征为 0 的概率)。interp.stored(W) 列出它保留的特征,interp.angles(W) 给出它们之间的角度。
先预测:当特征很少开启时(稀疏度 0.97),2 个数字能保留 5 个特征中的多少个?
本课中的词语和符号
- 叠加
- 以很少同时开启的方向的形式,存储比数字的个数更多的特征
把 my_guess 设为一个 2 到 5 之间的数字。在稀疏度 0、0.7 和 0.97 下训练(种子 0),用存储下来的特征数量填写 kept[s],并用两个存储下来的特征之间最小的角度填写 smallest_angle[s]。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。