课程大纲 第 175 课,共 246 课 · 第 15 模块:压缩、重建、生成(自编码器与 VAE)
第 15 模块:压缩、重建、生成(自编码器与 VAE)

关卡:只画一个数字的 VAE(AI 关闭)

为什么重要 这种失败有一个名字,后验坍缩,而且它常见到你以后构建的每一个生成模型都可能遇到它的某个版本。在这里你要独自诊断并修复它。

关卡规则:AI 导师关闭。运行起始代码,看看这个坏掉的 VAE 画出了什么。你可以用 gen.train_vae(...) 训练任意多个变体,并用 gen.judge、active_units() 和重建误差来评判它们。

有三个设置,每一个都有尝试它的理由:

  • weight:拉力 2(KL)的强度,默认为 1。
  • warmup_steps:从权重 0 开始,在这么多步内均匀地升到 weight(训练共 600 步)。
  • free_bits:每个编码数字的一个下限。KL 低于下限的数字只付下限的代价,并且不会被推向中心,所以模型用得起它。

你会在网上读到,让权重慢慢升温是标准的修复方法。查明它在这里是不是。

检查会在一个新的种子上重新训练你的修复,只有四条全部成立才算通过:测试重建误差低于 0.035,至少 3 个活跃的编码数字,新数字的接近度至多 1.33、多样性至少 3.0。

本课中的词语和符号
编码(潜变量)
编码器从一张图片中得到的那少数几个数字
VAE
变分自编码器:一种编码被拉去填满 N(0, 1) 的自编码器,这样随机的编码就能解码成新的图片
mu、logvar
在 VAE 中,一个编码数字的中心,以及它离散程度平方的对数
接近度、多样性
课程的评判:到最近一个真实数字的距离,以及在十个数字上分布的比特数
后验坍缩
一个所有编码都变成 N(0, 1)、什么都不携带的 VAE;它只画一张平均的图片
轮到你了

把 diagnosis 设为一个字母,并把 fix 设为一个能治好坍缩的 gen.train_vae 设置的字典。

关闭 AI:这一题没有导师、提示或参考答案。只靠你自己的思考。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。