课程大纲 第 186 课,共 246 课 · 第 17 模块:噪声进去,图片出来(扩散模型)
第 17 模块:噪声进去,图片出来(扩散模型)

噪声计划:更低的损失,更差的样本

为什么重要 损失是你盯着看的那个数字,所以人们很容易去挑让它最低的那个。在这里,这种本能恰恰是错的,而看清楚为什么,能教会你损失到底在测量什么。

对同样的 100 步,有两种计划:

  • 线性(原始的 DDPM 论文):beta 从 0.0001 均匀地升到 0.02 × (1000 / T)。只有 100 步时,abar 下降得很快:大多数步骤几乎都是纯噪声。
  • 余弦(Nichol 和 Dhariwal,2021):abar 沿着一条余弦曲线变化,所以信号在各个步骤中均匀地消退。

课程在螺旋上训练了两者,各 3 个种子(difflab.recorded())。

先预测:哪一种计划最终的训练损失更低,哪一种生成的样本更好地落在螺旋上?

本课中的词语和符号
噪声计划(beta)
每一步混入多少新的噪声
abar
经过若干步之后原始信号所剩下的比例(它的平方根乘以 x0)
eps
被加入的钟形曲线噪声;网络学习去预测它
DDPM
通过倒着走过每一个步骤、每次都加入新的噪声来采样
落在形状上、覆盖程度
二维评判器:落在真实形状附近的样本所占的比例,以及附近有一个样本的那部分形状所占的比例
轮到你了

把两个问题的 guess 都设为 "linear" 或 "cosine"。然后用每种计划在 3 个被记录种子上的平均最终损失和平均落在形状上的分数填写 table,并填写 noisy_share:对于每一种计划,100 步中信号方差剩下不到 10% 的步骤所占的比例(abar 低于 0.1;在那里信号的大小是 sqrt(abar),大约 0.32)。最后设置 shows,用你的表格回答同样的两个问题。你的猜测保持你做出时的样子。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。