课程大纲 第 173 课,共 246 课 · 第 15 模块:压缩、重建、生成(自编码器与 VAE)
第 15 模块:压缩、重建、生成(自编码器与 VAE)

你的 VAE 能画出新的数字

为什么重要 每一块都准备好了:编码器的 mu 和 logvar、穿过采样的技巧、重建损失和 KL。把它们放进一个训练步骤里,你就有了一个能画出没人画过的数字的模型。

训练的一步,用文字来说:

  1. 编码一批图片:mu, logvar = model.encode(E.T(x))。
  2. 从 N(0, 1) 中抽取形状和 mu 一样的 eps,并用你的重参数化得到编码。
  3. 把编码解码成像素得分:model.decode_logits(code)。
  4. 损失 = E.bce_with_logits(scores, x) + E.kl_to_standard(mu, logvar)(课程引擎版本的你的 KL)。
  5. 反向传播,然后 opt.step()。

然后用和之前同样的评判来评价它:从 N(0, 1) 中抽取的 500 个新数字的接近度和多样性。重建误差会比自编码器的更差(大约 0.03 对 0.008)。这是拉力 2 的代价,而它换来了一个你可以从中采样的编码空间。

本课中的词语和符号
自编码器
一个把图片压缩成少数几个数字的编码器,加上一个把它重建出来的解码器
编码(潜变量)
编码器从一张图片中得到的那少数几个数字
VAE
变分自编码器:一种编码被拉去填满 N(0, 1) 的自编码器,这样随机的编码就能解码成新的图片
mu、logvar
在 VAE 中,一个编码数字的中心,以及它离散程度平方的对数
重参数化
code = mu + exp(logvar / 2) × eps,先抽取 eps,这样梯度就能到达 mu 和 logvar
接近度、多样性
课程的评判:到最近一个真实数字的距离,以及在十个数字上分布的比特数
轮到你了

编写训练循环的主体(600 步,每步 256 张图片)。通过的条件:测试重建误差低于 0.035,新数字的接近度至多 1.30、多样性至少 3.0,并且至少有 3 个活跃的编码数字。用你自己的循环:这里不能用 gen.train_vae。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。