课程大纲 第 193 课,共 246 课 · 第 18 模块:没有标签的学习
第 18 模块:没有标签的学习

给没人标注过的照片分类

为什么重要 标签很昂贵:必须有人去看每一张图片。没有标签的图片几乎是免费的。如果一个网络能只从没有标签的图片中学到有用的特征,那么每一个模型都可以从数百万个样本而不是几千个样本开始。这就是自监督学习,而如今的大型模型就是这样预训练的。

这个模块中的图片是 16 × 16 的小照片,内容是杂乱场景中的六种物体(球、盒子、环、帐篷、十字、月亮):随机的背景、来自任意一侧的光、阴影、前面的遮挡物、模糊和传感器噪声。它们是生成出来的,而不是下载的,并且被构建得表现得像真实的照片:课程测量了每一张自然照片都共有的三项统计量(细节如何随尺度衰减、边缘有多稀疏、相邻像素有多相似),而这些照片在全部三项上都落在真实照片裁剪的范围之内。photos.stats(X) 会把它们打印出来。

对任何一组特征的一个快速测试:对每一张照片,按这些特征找出它的 5 个最近邻,并统计其中有多少显示的是同一种物体。随机猜测会得到六分之一。

三种特征:

  • 原始像素;
  • 一个带有随机权重、从未训练过的 CNN;
  • 同一个 CNN 在 4000 张照片上做过 SimCLR 预训练之后,完全没有标签(课程训练过它一次;你会在第 5 课中看到怎么做)。

先预测:哪一种会把同一物体的照片放得最近?

本课中的词语和符号
自监督学习
通过一个由数据自己设定的任务,从没有标签的数据中学习特征
SimCLR
用每张图片的两个视图和 InfoNCE 进行的自监督训练(Chen 等人 2020)
轮到你了

把 my_guess 设为 "raw"、"random" 或 "simclr"。编写 agreement(F, labels, k):把每个特征标准化,把每一行缩放到长度 1,然后返回 k 个最近邻(按余弦相似度,一张照片不是它自己的邻居)中具有相同标签的比例。为三种特征填写 scores。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。