SimCLR:一张照片的两个视图
为什么重要 现在是完整的方法:随机的视图加上 InfoNCE,反复进行。任何时候都没有标签。它学到什么,几乎完全取决于你做出的一个选择:它被告知要忽略两个视图之间的哪些差异。
每一步:取一个批次的照片,用 ssl.augment 为每一张制作两个随机的视图,把两者都编码,用一个小的头部把它们投影,然后最小化 InfoNCE。数据增强定义了任务:一张照片的两个视图之间不同的东西(裁剪的位置、镜像、亮度、饱和度),就是网络学会去忽略的东西。保持不变的东西(物体),就是它学会去保留的东西。
真正的 SimCLR 训练会使用数千步和很大的批次。在这里,你现场运行一次很短的训练(宽度 8、批次 32、80 步)来看着损失下降,然后去读课程被记录的长时间训练(宽度 32,2500 步,每步 128)。
被记录的训练包括对同一个配方的两种变化:给视图加上随机的色相旋转(SimCLR 论文发现,在它的照片上,强烈的颜色变化是必不可少的),以及一个更高的温度(0.5)。
这个领域如今的状况 SimCLR 需要许多负样本(批次中的其他照片),所以它在非常大的批次下训练得最好(论文用的是 4,096)。后来的方法去掉了负样本:BYOL(2020)和 DINO(2021)训练一个网络去匹配它自己的一个缓慢更新的副本,而 MAE(2021)隐藏一张图像四分之三的图块并把它们重建出来,这是这个模块中填空的图片版本。对于文本,也存在同样的划分:掩码预测(BERT)和下一个词元预测(GPT)。
本课中的词语和符号
- 掩码预测
- 隐藏输入的一部分,训练网络把它填补上
- 视图
- 一张图片经过随机改变的副本:裁剪、翻转、更亮、色彩更淡
- 数据增强
- 制造出一个视图的随机改变;它决定了网络学会去忽略什么
- InfoNCE
- 在一个由批次自己设定的问题上的交叉熵:哪一个其他视图来自同一张图片?
- 温度
- 在 softmax 之前用来除相似度的数;越小,选择就越尖锐
- SimCLR
- 用每张图片的两个视图和 InfoNCE 进行的自监督训练(Chen 等人 2020)
运行现场的预训练,并用前 10 步和最后 10 步的平均损失填写 live。然后根据被记录的训练填写 report:原始像素、随机编码器、SimCLR、带色相旋转的 SimCLR 和有监督模型的探针准确率(原始物体),以及 gap,即 SimCLR 落后于有监督模型多少,用一个比例表示(0.05 意味着 5 个点)。最后把 hue_helped 设为 True 或 False。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。