课程大纲 第 190 课,共 246 课 · 第 17 模块:噪声进去,图片出来(扩散模型)
第 17 模块:噪声进去,图片出来(扩散模型)

引导样本(无分类器引导)

为什么重要 “画一个 7”之所以能行,是因为一行算术。每一个文生图模型都用它来让图片遵循提示语,而同一行算术也解释了为什么把它调得太高会让图片变差。

数字模型是带着它的标签训练的,有 15% 的时间标签被隐藏了(一个“无标签”词元,difflab.NULL)。所以一个网络能以两种方式预测噪声。无分类器引导(Ho 和 Salimans,2022)会把它们混合起来:

eps = (1 + w) eps_with_label - w eps_without_label

差值 eps_with_label - eps_without_label 指向“更像这个标签”的方向。w = 0 是普通的条件采样;更大的 w 推得更用力。看一看这个场景:同样的噪声,分别用 w = 0、1、2 和 4 画出来。

本课中的词语和符号
eps
被加入的钟形曲线噪声;网络学习去预测它
DDIM
通过在少数几个步骤之间跳跃、不加入新的噪声来采样
无分类器引导
(1 + w) × 带标签预测的噪声 - w × 不带标签预测的噪声
轮到你了

编写 guided(model, x, t, labels, w)。然后填写 table:对于 w 为 0、1、2 和 4,500 个样本(20 个 DDIM 步骤,上一课表明它和 100 个 DDIM 步骤一样好)中被识别为所请求数字的比例,以及它们的接近度。把 best_w 设为在那些请求命中率至少达到 0.99 的 w 中,接近度最好(最低)的那个。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。