课程大纲 第 188 课,共 246 课 · 第 17 模块:噪声进去,图片出来(扩散模型)
第 17 模块:噪声进去,图片出来(扩散模型)

一个小型 U-Net

为什么重要 对于图片,真实扩散模型中的噪声预测器是一个 U-Net:它把图片压缩下去以看清大的形状,然后再把它放大回完整的大小,并带有把精细细节传递过去的捷径。你已经知道其中的每一个部件了。

一个用于单通道 8 × 8 图片的 U-Net:

  1. 向下:3 × 3 卷积到 16 个通道,ReLU。把它保存为 skip(8 × 8 × 16)。然后 2 × 2 平均池化到 4 × 4。
  2. 中间:3 × 3 卷积到 32 个通道,ReLU(4 × 4 × 32):现在每个单元都能看到一个很宽的区域。
  3. 向上:上采样到 8 × 8,然后沿着通道把它和 skip 连接起来(E.concat):8 × 8 × 48。
  4. 3 × 3 卷积到 16 个通道,ReLU,然后一个 3 × 3 卷积到 1 个通道:预测的噪声,和输入一样大。

跳跃连接是 U-Net 的关键想法:向下的路径为了看清形状而扔掉了细节,而跳跃连接把这些细节直接交给向上的路径。没有它,输出会很模糊。

这里不做训练:你要构建它,并用形状和一次梯度检查证明它的连接是对的,就像你在第 4 模块中检查各层那样。

本课中的词语和符号
扩散模型
一个被训练来一点一点去除噪声的网络;从纯噪声开始倒着运行,它就能生成东西
U-Net
一个把图片缩小以看清形状、再把它放大回去、并通过跳跃连接把细节传递过去的网络
轮到你了

为形状为 (n, 8, 8, 1) 的 E.T x 编写 unet(x, P),权重在 P 中,由起始代码生成。然后通过微调检查一个梯度:把 max_gap 设为在 P['up2'][0] 的前 5 个数字上,反向传播和微调之间最大的差异。引擎以 float32 工作,所以微调量要用 h = 1e-3 或更大:用 1e-4 时,损失的变化会淹没在舍入误差中,一个正确的梯度看起来也会是错的。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。