课程大纲 第 224 课,共 246 课 · 第 21 模块:观察模型的内部
第 21 模块:观察模型的内部

拆开混合:一个稀疏自编码器

为什么重要 如果特征是以叠加的方式存储的,看单元是找不到它们的。一个稀疏自编码器(Bricken 等人 2023,Cunningham 等人 2023)试图撤销这种叠加:用比向量拥有的数字多得多的方向去重建每一个向量,但每次只用其中少数几个。

取 GPT 在第 1 块之后的 64 个数字的向量,对应 19,200 个课文字符。一个有 256 个特征的稀疏自编码器计算 f = relu(z We + be),并重建 z = f Wd。损失是重建误差加上 l1 乘以 f 的总大小,这会把大多数特征推到恰好为零。

interp.train_sae(A, features=256, l1=...) 训练一个稀疏自编码器;sae.unexplained(A) 是重建所漏掉的那部分向量离散程度所占的比例(0 是完美的),而 sae.features(A) 给出 f。

先预测:在一个很强的推动下(l1 = 0.3),重建还能解释大部分的离散程度吗(unexplained 低于 0.2)?

本课中的词语和符号
叠加
以很少同时开启的方向的形式,存储比数字的个数更多的特征
稀疏自编码器
一个被训练来每次只用少数几个活跃特征去重建向量的宽层
轮到你了

把 my_guess 设为 "yes" 或 "no"。在 l1 为 0.03 和 0.3 时训练(600 步,每步 128 个向量)。在留出的向量 A_new 上填写 unexplained[l1],并填写 active[l1]:每个留出字符上大于零的特征的平均数量。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。