课程大纲 第 219 课,共 246 课 · 第 21 模块:观察模型的内部
第 21 模块:观察模型的内部

一个探针需要一个对照组

为什么重要 一个探针(一个在模型内部向量上训练的小型线性分类器)是可解释性中最常用的工具,也是被过度解读得最多的工具。高准确率可能意味着模型计算出了那样东西,也可能意味着是探针计算出了它。

你在第 18 模块中见过线性探针。在这里,在 GPT 的两个位置的向量上训练一个探针:'embed'(字符的嵌入加上它的位置,在任何层之前)和 'resid1'(在第一个块之后)。三个问题,每一个都是为每个字符准备的一个 0/1 标签:

  • 'vowel':这个字符是元音吗?
  • 'control':它是 b、c、g、n、r、s、t 之一吗?一个毫无意义的分组,挑选得和元音一样常见(字符的 28.7%,对比 28.8%)。
  • 'third letter':它是它所在单词的第三个或更靠后的字母吗?

先预测:如果元音探针的得分接近 100%,这能说明模型已经学会了什么是元音吗?

本课中的词语和符号
可解释性
弄清楚一个训练好的网络在内部计算什么,并检验它
探针
一个被训练来从模型内部向量中读出某样东西的小型线性分类器
轮到你了

把 my_guess 设为 "yes" 或 "no"。为三种类型和两个位置,用 probe(site, kind) 填写 scores[kind][site]。然后把 computed 设为唯一一种其探针显示出了这一层算出的某样东西的类型(在块之后读它要比单从嵌入读它容易得多)。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。