VAE 的损失,一步一步来(ELBO)
为什么重要 “重建得好加上待在中心附近”听起来像是两个粘在一起的目标。它其实是一个目标:让真实的数字在模型之下尽可能地有可能。看清楚为什么,就能告诉你损失这个数字意味着什么。
一个 VAE 是一个关于数字如何产生的故事:从 N(0, 1) 中抽取一个编码 z,然后以解码器给出的概率抽取每一个像素。最好的模型会给真实的数字最高的概率 log p(x)。精确地计算 log p(x) 需要在每一个可能的 z 上取平均,这是做不到的。
技巧在于一个你能计算的下界,也就是 ELBO(证据下界):
log p(x) ≥ E[log p(x | z)] - KL(q(z | x) || N(0, 1))
这里 q(z | x) = N(mu, spread) 是编码器对哪些编码可能产生了 x 的猜测,而 E[...] 是在从中抽取的编码上取平均。第一项是重建得分。第二项是拉力 2。log p(x) 和 ELBO 之间的差距,恰好就是编码器的猜测错得有多离谱(到真实后验的一个 KL),所以把 ELBO 往上推,会提高 log p(x),或者缩小差距(让猜测更好),或者两者兼有:单凭 ELBO 没法告诉你是哪一种。
训练最小化的是 -ELBO,也就是重建损失 + KL:正是 gen.train_vae 中的那个损失。
在一个很小的例子上填空
一张 4 像素的图片 x = [1, 0, 1, 1]。编码器给出 mu = [0.5, -1.0] 和 logvar = [0.0, -1.0]。对编码的一次抽取给出解码器概率 p = [0.9, 0.2, 0.7, 0.6](每个像素有墨的概率)。
本课中的词语和符号
- 编码(潜变量)
- 编码器从一张图片中得到的那少数几个数字
- VAE
- 变分自编码器:一种编码被拉去填满 N(0, 1) 的自编码器,这样随机的编码就能解码成新的图片
- mu、logvar
- 在 VAE 中,一个编码数字的中心,以及它离散程度平方的对数
- ELBO
- 证据下界:重建得分减去 KL;训练一个 VAE 就是把它往上推
填写每一步:log_p_x_given_z(在各像素上对 x log p + (1 - x) log(1 - p) 求和)、kl(到 N(0, 1),在两个编码数字上求和)、elbo,以及 loss(训练所最小化的东西)。然后把 gap_means 设为说明 log p(x) 和 ELBO 之间的差距测量的是什么的那个字母。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。