课程大纲 第 194 课,共 246 课 · 第 18 模块:没有标签的学习
第 18 模块:没有标签的学习

填空(掩码预测)

为什么重要 从没有标签的数据中制造一个任务最简单的方法:隐藏它的一部分,让网络把它填补上。语言模型正是这样训练的(隐藏下一个单词);图像模型隐藏的是图块。要把一个洞填好,网络必须理解它周围有什么。

在每张照片的中间隐藏一个 4 × 4 的图块。网络看到它周围的 8 × 8 窗口(其他 48 个像素,× 3 种颜色),并预测被隐藏的 16 个像素(× 3)。损失是均方误差。任何地方都没有标签:照片就是它自己的答案。

要战胜的两种简单的填补方式:照片的平均颜色(误差大约 0.035)以及洞周围那些像素的平均值(大约 0.019)。一个能战胜第二种的网络,已经学到了一些关于形状和光线如何延续的东西。

本课中的词语和符号
掩码预测
隐藏输入的一部分,训练网络把它填补上
轮到你了

编写训练循环的主体(400 步,每步 64 张照片)。验证误差低于 0.017 才能通过。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。