课程大纲 第 218 课,共 246 课 · 第 21 模块:观察模型的内部
第 21 模块:观察模型的内部

三种证据

为什么重要 “模型有一个代表 X 的神经元”是机器学习中被重复得最多的句子之一,而在大多数时候,它背后的证据只是一张图。这个模块讲的是一张图和一个证明之间的区别。

每一个关于网络内部发生了什么的说法,都建立在三种证据中的一种之上,从最弱到最强:

  • 模式:内部的某样东西和外部的某样东西对得上。当文本是关于猫的时候,某个单元会很大;某个头会关注前一个单词。你看了,但你没有碰它。
  • 效应:你改变了内部的某样东西,而输出也跟着变了。去掉这个头,损失就上升;把来自另一个输入的一个值放回去,答案就翻转了。现在你知道它是要紧的,但还不确切地知道它在做什么。
  • 机制:一个关于这个部件在计算什么的解释,它能预测在你还没试过的输入上会发生什么,而且这个预测成立。

模式很廉价,而它们是每一次调查开始的地方。只有在一个效应之后,它们才会变成说法;只有在一个本可能失败的预测之后,它们才会变成一个解释。

本课中的词语和符号
模式、效应、机制
三种证据:看过并看到了;改变了它而输出也变了;解释了它,而这个解释预测了新的情况
轮到你了

填写 kind:对每一个说法,填 "pattern"、"effect" 或 "mechanism"(它的证据所支持的最强的那一种)。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。