第 18 模块:没有标签的学习
从批次中挑出你的搭档(InfoNCE)
你以前学过这门课程吗?
这样我们只统计你一次。只会发送你的答案,以及你的匿名进度。
为什么重要 SimCLR 全部的训练信号就是一个损失,而你已经知道它了:它是交叉熵,作用在一道由网络自己出的选择题上。
取一个有 n 张照片的批次,为每一张制作两个随机的视图(裁剪、翻转、改变亮度和颜色)。这就得到 2n 个视图。对于每一个视图,问题是:在其他 2n - 1 个视图中,哪一个来自同一张照片?恰好有一个是。
- 把每一个视图编码成一个短向量 z,并把每个 z 缩放到长度 1。
- 两个视图的相似度 = 它们的点积(余弦),再除以一个温度(这里是 0.2):较小的温度会让分数更尖锐。
- 一个视图不能选择它自己:它自己的分数被设为负无穷。
- 交叉熵,正确答案是搭档:视图 i 的搭档是 i + n(反过来也一样)。
看一看这个场景:六张照片,每张两个视图,相似度的网格,以及每一行的选择。
很小的数字
两张照片,所以有四个视图。如果视图 0 和视图 1、2、3 的相似度是 0.1、0.9、0.2(它的搭档是视图 2),除以 0.2 之后就变成 0.5、4.5、1.0。softmax 给搭档 0.954,而视图 0 的损失是 -log 0.954 = 0.047。
本课中的词语和符号
- 视图
- 一张图片经过随机改变的副本:裁剪、翻转、更亮、色彩更淡
- InfoNCE
- 在一个由批次自己设定的问题上的交叉熵:哪一个其他视图来自同一张图片?
- 温度
- 在 softmax 之前用来除相似度的数;越小,选择就越尖锐
- SimCLR
- 用每张图片的两个视图和 InfoNCE 进行的自监督训练(Chen 等人 2020)
轮到你了
用纯 NumPy 为形状为 (2n, d) 的 z 编写 info_nce(z, temperature),返回全部 2n 行上的平均损失。然后计算 example:起始代码中那个四视图批次的损失。
本课已完成。干得好。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。