课程大纲 第 185 课,共 246 课 · 第 17 模块:噪声进去,图片出来(扩散模型)
第 17 模块:噪声进去,图片出来(扩散模型)

从噪声到一个螺旋(DDPM)

为什么重要 这就是噪声变成数据的那一刻。从纯噪声开始,倒着走 100 个小步,每一步使用一次网络。你在这里写的这个循环,在形状上就是如今图像生成器中画出图片的那一个。

以 DDPM 的方式从 x_t 倒退一步到 x_(t-1):

  1. 预测噪声,并由它得到干净的估计 x0(上一课)。
  2. 把 x0 裁剪到真实数据可能有的范围(这里是 -3 到 3)。
  3. 在给定 x_t 和 x0 的情况下,移动到 x_(t-1) 所在之处的精确平均值:
    mean = (sqrt(abar_(t-1)) beta_t / (1 - abar_t)) x0 + (sqrt(1 - beta_t) (1 - abar_(t-1)) / (1 - abar_t)) x_t
  4. 加入离散程度为 sqrt(beta_t (1 - abar_(t-1)) / (1 - abar_t)) 的新噪声,最后一步除外。(abar_(-1) 算作 1。)

为什么要裁剪?课程是吃了苦头才发现的。在余弦计划的最后几步,beta 会达到 0.999,所以一个普通的步骤会把预测噪声中的任何误差放大大约 30 倍。没有裁剪时,课程的数字模型画出的图片更像是被打乱的像素,而不像数字(接近度 4.68)。有了它,是 1.09。

本课中的词语和符号
噪声计划(beta)
每一步混入多少新的噪声
abar
经过若干步之后原始信号所剩下的比例(它的平方根乘以 x0)
x0、x_t
干净的数据,以及经过 t 步噪声之后的同一份数据
eps
被加入的钟形曲线噪声;网络学习去预测它
DDPM
通过倒着走过每一个步骤、每次都加入新的噪声来采样
落在形状上、覆盖程度
二维评判器:落在真实形状附近的样本所占的比例,以及附近有一个样本的那部分形状所占的比例
轮到你了

完全按照上面的四个步骤编写 step_back(x, eps_pred, t, beta, abar, rng)(把 x0 裁剪到 -3 到 3、计算均值,然后在 t = 0 之外加入噪声),以及采样循环 generate(model, n, rng),它从第 99 步的 N(0, 1) 噪声开始,倒退到第 0 步。样本落在螺旋上的比例至少为 0.8、覆盖程度至少为 0.95 才能通过。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。