课程大纲 第 197 课,共 246 课 · 第 18 模块:没有标签的学习
第 18 模块:没有标签的学习

SimCLR:一张照片的两个视图

为什么重要 现在是完整的方法:随机的视图加上 InfoNCE,反复进行。任何时候都没有标签。它学到什么,几乎完全取决于你做出的一个选择:它被告知要忽略两个视图之间的哪些差异。

每一步:取一个批次的照片,用 ssl.augment 为每一张制作两个随机的视图,把两者都编码,用一个小的头部把它们投影,然后最小化 InfoNCE。数据增强定义了任务:一张照片的两个视图之间不同的东西(裁剪的位置、镜像、亮度、饱和度),就是网络学会去忽略的东西。保持不变的东西(物体),就是它学会去保留的东西。

真正的 SimCLR 训练会使用数千步和很大的批次。在这里,你现场运行一次很短的训练(宽度 8、批次 32、80 步)来看着损失下降,然后去读课程被记录的长时间训练(宽度 32,2500 步,每步 128)。

被记录的训练包括对同一个配方的两种变化:给视图加上随机的色相旋转(SimCLR 论文发现,在它的照片上,强烈的颜色变化是必不可少的),以及一个更高的温度(0.5)。

这个领域如今的状况 SimCLR 需要许多负样本(批次中的其他照片),所以它在非常大的批次下训练得最好(论文用的是 4,096)。后来的方法去掉了负样本:BYOL(2020)和 DINO(2021)训练一个网络去匹配它自己的一个缓慢更新的副本,而 MAE(2021)隐藏一张图像四分之三的图块并把它们重建出来,这是这个模块中填空的图片版本。对于文本,也存在同样的划分:掩码预测(BERT)和下一个词元预测(GPT)。

本课中的词语和符号
掩码预测
隐藏输入的一部分,训练网络把它填补上
视图
一张图片经过随机改变的副本:裁剪、翻转、更亮、色彩更淡
数据增强
制造出一个视图的随机改变;它决定了网络学会去忽略什么
InfoNCE
在一个由批次自己设定的问题上的交叉熵:哪一个其他视图来自同一张图片?
温度
在 softmax 之前用来除相似度的数;越小,选择就越尖锐
SimCLR
用每张图片的两个视图和 InfoNCE 进行的自监督训练(Chen 等人 2020)
轮到你了

运行现场的预训练,并用前 10 步和最后 10 步的平均损失填写 live。然后根据被记录的训练填写 report:原始像素、随机编码器、SimCLR、带色相旋转的 SimCLR 和有监督模型的探针准确率(原始物体),以及 gap,即 SimCLR 落后于有监督模型多少,用一个比例表示(0.05 意味着 5 个点)。最后把 hue_helped 设为 True 或 False。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。