你的模型内部的一个发现,带有一个对照组
为什么重要 第 21 模块的教训,应用到你自己的模型上:在你把一个探针的分数和同一个探针从一个从未训练过的网络中读出的东西做比较之前,它毫无意义。
你的赛道的探针集对每一个输入问一个问题(meaning):在 language 赛道上是“下一个字符是元音吗?”;在 images 赛道上是“照片中是哪种物体?”。
训练你的基线(种子 0)。读取它的隐藏层(studio.hidden_units(model, X)),在探针集的前一半上训练一个线性探针,在后一半上测试(ssl.probe,300 步)。对照组:在一个同样形状、同样种子的未训练的网络上用同样的探针(studio.MLP(track.n_in, width, track.n_out, seed=0))。随机的 ReLU 单元本来就会把输入变成许多特征,而一个探针能从中读出很多东西;只有高于对照组的那部分,才是训练放进去的东西。
本课中的词语和符号
- 基线
- 每一个改动都要在同样的种子上与之比较的那次普通训练
填写 trained、control 和 base_rate(测试那一半中最常见标签所占的比例)。如果 trained 比 control 高出超过 0.02,就把 finding 设为 "above control",否则设为 "not above control"。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。