拆开混合:一个稀疏自编码器
为什么重要 如果特征是以叠加的方式存储的,看单元是找不到它们的。一个稀疏自编码器(Bricken 等人 2023,Cunningham 等人 2023)试图撤销这种叠加:用比向量拥有的数字多得多的方向去重建每一个向量,但每次只用其中少数几个。
取 GPT 在第 1 块之后的 64 个数字的向量,对应 19,200 个课文字符。一个有 256 个特征的稀疏自编码器计算 f = relu(z We + be),并重建 z = f Wd。损失是重建误差加上 l1 乘以 f 的总大小,这会把大多数特征推到恰好为零。
interp.train_sae(A, features=256, l1=...) 训练一个稀疏自编码器;sae.unexplained(A) 是重建所漏掉的那部分向量离散程度所占的比例(0 是完美的),而 sae.features(A) 给出 f。
先预测:在一个很强的推动下(l1 = 0.3),重建还能解释大部分的离散程度吗(unexplained 低于 0.2)?
本课中的词语和符号
- 叠加
- 以很少同时开启的方向的形式,存储比数字的个数更多的特征
- 稀疏自编码器
- 一个被训练来每次只用少数几个活跃特征去重建向量的宽层
把 my_guess 设为 "yes" 或 "no"。在 l1 为 0.03 和 0.3 时训练(600 步,每步 128 个向量)。在留出的向量 A_new 上填写 unexplained[l1],并填写 active[l1]:每个留出字符上大于零的特征的平均数量。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。