课程大纲 第 187 课,共 246 课 · 第 17 模块:噪声进去,图片出来(扩散模型)
第 17 模块:噪声进去,图片出来(扩散模型)

告诉模型现在是第几步

为什么重要 同一个有噪声的点,在第 5 步需要一个小的修正,在第 90 步需要一个大的修正。一个没有被告知步骤的网络只能单凭这个点去猜。怎样告诉它是一个设计选择,而那个有名的选择并不总是最好的。

三种方式(difflab.time_input):

  • none:网络只看到这个点。
  • raw:一个额外的数字,t / T。
  • sine:t / T 在从 1 到 100 的频率上的 8 个正弦和 8 个余弦,也就是 Transformer 用于位置的那种嵌入。大型图像模型会使用它,因为许多频率能让一个深层网络对 t 的微小变化做出敏锐的反应。

被记录的训练在螺旋上训练了每一种,3 个种子。用第 9 模块的规则比较它们:当一种设置的平均落在形状上的分数至少高 0.1,并且在每一个种子上都更高(3 个中 3 个)时,它才胜过另一种。

本课中的词语和符号
落在形状上、覆盖程度
二维评判器:落在真实形状附近的样本所占的比例,以及附近有一个样本的那部分形状所占的比例
轮到你了

编写 sine_time(t, T),为每一步返回 16 个数字(先是正弦,然后是余弦,频率为 np.exp(np.linspace(0, np.log(100), 8)))。然后为两个被记录的设置名编写 beats(a, b),并为 raw 对比 none、sine 对比 none 以及 sine 对比 raw 填写 verdicts。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。