每一个编码上的两种拉力(看一看)
为什么重要 修复办法是让编码以一种已知的形状填满空间,这样从那个形状中抽取的随机点就会落在解码器已经学会了画的地方。一个变分自编码器(VAE)通过对每一个编码施加两种拉力来做到这一点。
先看一看这个场景。每一个字符都是一个测试数字,画在它的 2 个编码数字所放的地方,以数字本身的形式;7 是彩色的,这样你就能跟着一组看。
- 拉力 1,重建得好:不同数字的编码必须保持分开,否则解码器就没法区分它们。
- 拉力 2,待在中心附近:每一个编码都被拉向中心,并且变得有点模糊(一小团云,而不是一个点),这样编码就会没有空隙地填满中心周围的钟形曲线 N(0, 1)。
于是采样就意味着:从 N(0, 1) 中抽取一个点并解码它。因为编码填满了那个区域,这个点会落在解码器认识的某个地方。
在 VAE 中,编码器为每一个编码数字给出两样东西:一个中心 mu 和一个离散程度,写作 logvar(离散程度平方的对数,它可以是任何数)。编码是从 N(mu, spread) 中的一次抽取。gen.train_vae 会训练一个 VAE;rebuild_weight 和 weight 决定每种拉力的强度。
先预测:如果你去掉拉力 2,编码会怎样?如果你去掉拉力 1 呢?
本课中的词语和符号
- 自编码器
- 一个把图片压缩成少数几个数字的编码器,加上一个把它重建出来的解码器
- 编码(潜变量)
- 编码器从一张图片中得到的那少数几个数字
- VAE
- 变分自编码器:一种编码被拉去填满 N(0, 1) 的自编码器,这样随机的编码就能解码成新的图片
- mu、logvar
- 在 VAE 中,一个编码数字的中心,以及它离散程度平方的对数
为两种去除都把 guess 设为 "spread out"、"all at the centre" 或 "no change" 之一。然后训练三个 2 维的 VAE(每个在浏览器中一两秒),并为每一个用测试编码到中心的平均距离填写 spread,用平均离散程度 exp(logvar / 2) 填写 noise。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。