课程大纲 第 196 课,共 246 课 · 第 18 模块:没有标签的学习
第 18 模块:没有标签的学习

从批次中挑出你的搭档(InfoNCE)

为什么重要 SimCLR 全部的训练信号就是一个损失,而你已经知道它了:它是交叉熵,作用在一道由网络自己出的选择题上。

取一个有 n 张照片的批次,为每一张制作两个随机的视图(裁剪、翻转、改变亮度和颜色)。这就得到 2n 个视图。对于每一个视图,问题是:在其他 2n - 1 个视图中,哪一个来自同一张照片?恰好有一个是。

  1. 把每一个视图编码成一个短向量 z,并把每个 z 缩放到长度 1。
  2. 两个视图的相似度 = 它们的点积(余弦),再除以一个温度(这里是 0.2):较小的温度会让分数更尖锐。
  3. 一个视图不能选择它自己:它自己的分数被设为负无穷。
  4. 交叉熵,正确答案是搭档:视图 i 的搭档是 i + n(反过来也一样)。

看一看这个场景:六张照片,每张两个视图,相似度的网格,以及每一行的选择。

很小的数字

两张照片,所以有四个视图。如果视图 0 和视图 1、2、3 的相似度是 0.1、0.9、0.2(它的搭档是视图 2),除以 0.2 之后就变成 0.5、4.5、1.0。softmax 给搭档 0.954,而视图 0 的损失是 -log 0.954 = 0.047。

本课中的词语和符号
视图
一张图片经过随机改变的副本:裁剪、翻转、更亮、色彩更淡
InfoNCE
在一个由批次自己设定的问题上的交叉熵:哪一个其他视图来自同一张图片?
温度
在 softmax 之前用来除相似度的数;越小,选择就越尖锐
SimCLR
用每张图片的两个视图和 InfoNCE 进行的自监督训练(Chen 等人 2020)
轮到你了

用纯 NumPy 为形状为 (2n, d) 的 z 编写 info_nce(z, temperature),返回全部 2n 行上的平均损失。然后计算 example:起始代码中那个四视图批次的损失。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。