第 21 模块:观察模型的内部
一个探针需要一个对照组
你以前学过这门课程吗?
这样我们只统计你一次。只会发送你的答案,以及你的匿名进度。
为什么重要 一个探针(一个在模型内部向量上训练的小型线性分类器)是可解释性中最常用的工具,也是被过度解读得最多的工具。高准确率可能意味着模型计算出了那样东西,也可能意味着是探针计算出了它。
你在第 18 模块中见过线性探针。在这里,在 GPT 的两个位置的向量上训练一个探针:'embed'(字符的嵌入加上它的位置,在任何层之前)和 'resid1'(在第一个块之后)。三个问题,每一个都是为每个字符准备的一个 0/1 标签:
'vowel':这个字符是元音吗?'control':它是 b、c、g、n、r、s、t 之一吗?一个毫无意义的分组,挑选得和元音一样常见(字符的 28.7%,对比 28.8%)。'third letter':它是它所在单词的第三个或更靠后的字母吗?
先预测:如果元音探针的得分接近 100%,这能说明模型已经学会了什么是元音吗?
本课中的词语和符号
- 可解释性
- 弄清楚一个训练好的网络在内部计算什么,并检验它
- 探针
- 一个被训练来从模型内部向量中读出某样东西的小型线性分类器
轮到你了
把 my_guess 设为 "yes" 或 "no"。为三种类型和两个位置,用 probe(site, kind) 填写 scores[kind][site]。然后把 computed 设为唯一一种其探针显示出了这一层算出的某样东西的类型(在块之后读它要比单从嵌入读它容易得多)。
本课已完成。干得好。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。