第 17 模块:噪声进去,图片出来(扩散模型)
噪声计划:更低的损失,更差的样本
你以前学过这门课程吗?
这样我们只统计你一次。只会发送你的答案,以及你的匿名进度。
为什么重要 损失是你盯着看的那个数字,所以人们很容易去挑让它最低的那个。在这里,这种本能恰恰是错的,而看清楚为什么,能教会你损失到底在测量什么。
对同样的 100 步,有两种计划:
- 线性(原始的 DDPM 论文):beta 从 0.0001 均匀地升到 0.02 × (1000 / T)。只有 100 步时,abar 下降得很快:大多数步骤几乎都是纯噪声。
- 余弦(Nichol 和 Dhariwal,2021):abar 沿着一条余弦曲线变化,所以信号在各个步骤中均匀地消退。
课程在螺旋上训练了两者,各 3 个种子(difflab.recorded())。
先预测:哪一种计划最终的训练损失更低,哪一种生成的样本更好地落在螺旋上?
本课中的词语和符号
- 噪声计划(beta)
- 每一步混入多少新的噪声
- abar
- 经过若干步之后原始信号所剩下的比例(它的平方根乘以 x0)
- eps
- 被加入的钟形曲线噪声;网络学习去预测它
- DDPM
- 通过倒着走过每一个步骤、每次都加入新的噪声来采样
- 落在形状上、覆盖程度
- 二维评判器:落在真实形状附近的样本所占的比例,以及附近有一个样本的那部分形状所占的比例
轮到你了
把两个问题的 guess 都设为 "linear" 或 "cosine"。然后用每种计划在 3 个被记录种子上的平均最终损失和平均落在形状上的分数填写 table,并填写 noisy_share:对于每一种计划,100 步中信号方差剩下不到 10% 的步骤所占的比例(abar 低于 0.1;在那里信号的大小是 sqrt(abar),大约 0.32)。最后设置 shows,用你的表格回答同样的两个问题。你的猜测保持你做出时的样子。
本课已完成。干得好。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。