一个编码离中心有多远:两条钟形曲线之间的 KL
为什么重要 拉力 2 需要一个可以去最小化的数字:每一个编码的那团云 N(mu, spread) 离目标 N(0, 1) 有多远。那个数字就是你在第 2 模块中见过的 KL 散度,现在用在钟形曲线上。
第 2 模块给出了两条钟形曲线之间的精确公式:N(m1, s1) 和 N(m2, s2) 之间的 KL 是
log(s2 / s1) + (s1² + (m1 - m2)²) / (2 s2²) - 1/2。
当目标是 N(0, 1)(m2 = 0,s2 = 1),并且离散程度写成 logvar = log(s1²) 时,它就变成了每个编码数字 0.5 (mu² + exp(logvar) - 1 - logvar)。把它在编码的各个数字上加起来。
很小的数字
mu = 0,logvar = 0(离散程度为 1):0.5 (0 + 1 - 1 - 0) = 0,编码已经和目标一致。mu = 2,logvar = 0:0.5 (4 + 1 - 1 - 0) = 2。mu = 0,logvar = -2:0.5 (0 + 0.135 - 1 + 2) = 0.568,所以一个对自己太有把握的编码也要付出代价。
不用公式来检查它
KL 是一个平均值:对于从 p 中抽取的 x,log p(x) - log q(x) 的均值。抽取许多个 x 并取平均,会得到同样的数字,只是带点噪声。两种方法一致,就是你知道代码是对的的方式。
本课中的词语和符号
- 编码(潜变量)
- 编码器从一张图片中得到的那少数几个数字
- mu、logvar
- 在 VAE 中,一个编码数字的中心,以及它离散程度平方的对数
根据公式编写 kl_normal(m1, s1, m2, s2),编写 kl_to_standard(mu, logvar)(形状为 (N, z) 的 NumPy 数组,返回在编码数字上求和、再在 N 行上取平均的结果),以及 kl_by_sampling(m1, s1, m2, s2, n),它在从 p 中抽取的 n 个样本上对 log p(x) - log q(x) 取平均。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。