第 18 模块:没有标签的学习
用一个简单的分类器测试特征(线性探针)
你以前学过这门课程吗?
这样我们只统计你一次。只会发送你的答案,以及你的匿名进度。
为什么重要 最近邻给出了一个粗略的答案。对学到的特征的标准测试是一个线性探针:冻结特征,只在它们之上用少量标签训练一个线性分类器,然后在新照片上测量它。如果一条直线就能把物体分开,那么困难的工作就是特征完成的。
这个探针就是第 3 模块中的 softmax 回归,只是作用在特征而不是像素上:
- 用训练集的均值和离散程度把每个特征标准化(并在测试集上使用同样的数字)。
- 在交叉熵上做梯度下降,一次使用所有训练行:1000 步,步长 0.5,权重衰减 0.001。
- 在测试照片上的准确率。
它是故意设计得很弱的:一个用 400 个标签的线性模型。这正是重点所在。它没法发明好的特征;它只能读出特征本来就在说的东西。
本课中的词语和符号
- 线性探针
- 一个在冻结的特征上训练的线性分类器:对特征本来就在说什么的一次测试
- SimCLR
- 用每张图片的两个视图和 InfoNCE 进行的自监督训练(Chen 等人 2020)
轮到你了
按描述的方式编写 my_probe(F_train, y_train, F_test, y_test)(权重和偏置从零开始)。然后用你的探针,为一个随机编码器(ssl.Encoder(32, seed=0))和被记录的 SimCLR 编码器填写 accuracy。原始像素的基线(每张照片 768 个数字)已经用课程的探针替你算好了,它在快速的矩阵乘法上用 float32 做同样的运算:你的 float64 版本在浏览器中处理 768 个输入要花半分钟。
本课已完成。干得好。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。