课程大纲 第 184 课,共 246 课 · 第 17 模块:噪声进去,图片出来(扩散模型)
第 17 模块:噪声进去,图片出来(扩散模型)

学习预测噪声

为什么重要 一个扩散模型的整个训练配方能装进五行,而它就是普通的回归:给网络看一个有噪声的点和步骤,问它噪声是什么。没有博弈,也没有第二个网络。

一个训练步骤:

  1. 取一批真实的点 x0,并为每一个取一个随机的步骤 t 和新的噪声 eps。
  2. 用捷径跳到 x_t。
  3. 向网络要噪声:model.predict(x_t, t)。
  4. 损失 = (预测的噪声 - eps) 的平方的均值。
  5. 反向传播,走一步。

预测曲线

在运行之前,猜一猜三个时刻的损失:前 10 步、第 300 步左右,以及第 3000 步左右。两个参照点:一个总是预测 0 的网络得分恰好是 1(噪声的离散程度是 1),而一个完美的网络也没法达到 0,因为在噪声很大的步骤上噪声很容易猜,但在几乎干净的步骤上它几乎不可能猜出来。

这个领域如今的状况 预测噪声,在差一个缩放因子的意义上,就等同于估计得分:有噪声的数据朝哪个方向变得更有可能(Song 和 Ermon 2019;Ho 等人 2020)。这就是箭头会指回家的原因。真实的图像生成器并不会给像素加噪声:它们先用一个自编码器压缩每一张图片,就像第 15 模块中那样,然后在这些小的编码上运行扩散(潜在扩散,Rombach 等人 2022)。这个模块中的一切都能迁移过去;改变的只是空间。

本课中的词语和符号
扩散模型
一个被训练来一点一点去除噪声的网络;从纯噪声开始倒着运行,它就能生成东西
x0、x_t
干净的数据,以及经过 t 步噪声之后的同一份数据
eps
被加入的钟形曲线噪声;网络学习去预测它
落在形状上、覆盖程度
二维评判器:落在真实形状附近的样本所占的比例,以及附近有一个样本的那部分形状所占的比例
轮到你了

填写 my_guess,然后编写循环的主体(3000 步,每步 256 个螺旋点;difflab.shape('spiral', 256, rng)、difflab.add_noise)。把每一步的损失追加到 losses。最终损失低于 0.40,并且样本落在形状上的比例至少为 0.75 才能通过。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。