第 17 模块:噪声进去,图片出来(扩散模型)
从噪声到一个螺旋(DDPM)
你以前学过这门课程吗?
这样我们只统计你一次。只会发送你的答案,以及你的匿名进度。
为什么重要 这就是噪声变成数据的那一刻。从纯噪声开始,倒着走 100 个小步,每一步使用一次网络。你在这里写的这个循环,在形状上就是如今图像生成器中画出图片的那一个。
以 DDPM 的方式从 x_t 倒退一步到 x_(t-1):
- 预测噪声,并由它得到干净的估计 x0(上一课)。
- 把 x0 裁剪到真实数据可能有的范围(这里是 -3 到 3)。
- 在给定 x_t 和 x0 的情况下,移动到 x_(t-1) 所在之处的精确平均值:
mean = (sqrt(abar_(t-1)) beta_t / (1 - abar_t)) x0 + (sqrt(1 - beta_t) (1 - abar_(t-1)) / (1 - abar_t)) x_t - 加入离散程度为
sqrt(beta_t (1 - abar_(t-1)) / (1 - abar_t))的新噪声,最后一步除外。(abar_(-1) 算作 1。)
为什么要裁剪?课程是吃了苦头才发现的。在余弦计划的最后几步,beta 会达到 0.999,所以一个普通的步骤会把预测噪声中的任何误差放大大约 30 倍。没有裁剪时,课程的数字模型画出的图片更像是被打乱的像素,而不像数字(接近度 4.68)。有了它,是 1.09。
本课中的词语和符号
- 噪声计划(beta)
- 每一步混入多少新的噪声
- abar
- 经过若干步之后原始信号所剩下的比例(它的平方根乘以 x0)
- x0、x_t
- 干净的数据,以及经过 t 步噪声之后的同一份数据
- eps
- 被加入的钟形曲线噪声;网络学习去预测它
- DDPM
- 通过倒着走过每一个步骤、每次都加入新的噪声来采样
- 落在形状上、覆盖程度
- 二维评判器:落在真实形状附近的样本所占的比例,以及附近有一个样本的那部分形状所占的比例
轮到你了
完全按照上面的四个步骤编写 step_back(x, eps_pred, t, beta, abar, rng)(把 x0 裁剪到 -3 到 3、计算均值,然后在 t = 0 之外加入噪声),以及采样循环 generate(model, n, rng),它从第 99 步的 N(0, 1) 噪声开始,倒退到第 0 步。样本落在螺旋上的比例至少为 0.8、覆盖程度至少为 0.95 才能通过。
本课已完成。干得好。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。