把说明文字和图片匹配起来(CLIP 的想法)(选修)
为什么重要 以文搜图,以及图像生成器中的“理解”部分,都是从一个技巧开始的:训练一个图片编码器和一个文本编码器,让一张图片和它的说明文字落在彼此靠近的地方。这又是 InfoNCE,只是跨越了两种数据。这一课是选修的:获得证书不需要它。
这里的每一张照片都附带一句真实的说明文字,是根据它的生成方式写出来的:“左边的一个绿色的环”。图片这一侧是冻结的 SimCLR 编码器,加上一个到 16 个数字的可训练层。文本这一侧是一个词袋(每个单词一个数字:它是否在说明文字中?)乘以一个到 16 个数字的可训练层。
损失是对称的:对于一个有 n 对的批次,每一张图片必须从 n 句说明文字中挑出它的说明文字,而每一句说明文字必须从 n 张图片中挑出它的图片。在同一个 n × n 的相似度网格上的两个交叉熵,一个沿着行,一个沿着列。
测试要的不只是“正确的图片排第一”:最匹配的图片至少有说明文字中的颜色吗?它的物体呢?它的方位呢?
本课中的词语和符号
- InfoNCE
- 在一个由批次自己设定的问题上的交叉熵:哪一个其他视图来自同一张图片?
- 温度
- 在 softmax 之前用来除相似度的数;越小,选择就越尖锐
- SimCLR
- 用每张图片的两个视图和 InfoNCE 进行的自监督训练(Chen 等人 2020)
编写 pair_loss(a, b, temperature)(形状为 (n, 16) 的引擎张量:用 ssl.normalize 把两者都归一化(每一行缩放到长度 1,和 InfoNCE 那一课一样),相似度除以温度,沿着行的交叉熵加上沿着列的交叉熵),并在温度 0.1 下训练 600 步,每步 128 对。对至少 5% 的测试说明文字把正确的图片排在第一(随机概率为 0.5%)才能通过。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。