课程大纲 第 167 课,共 246 课 · 第 15 模块:压缩、重建、生成(自编码器与 VAE)
第 15 模块:压缩、重建、生成(自编码器与 VAE)

压缩和重建(自编码器)

为什么重要 到目前为止的每一个网络都是把一张图片变成一个标签。这个模块要把图片变成新的图片。第一步是一个把图片压缩成少数几个数字、再从它们重建出图片的网络。这少数几个数字,就是新图片的来源。

一个自编码器是背靠背的两个网络。编码器把一个 64 像素的数字压缩成 16 个数字,也就是它的编码。解码器从那 16 个数字重建出 64 个像素。训练只要求一件事:重建的图片应该和原图一致。

没有人告诉它那 16 个数字应该代表什么。它必须自己找到对一个数字的简短描述,因为 16 个数字没法简单地复制 64 个像素。

很小的数字

一个 64 像素的数字变成 16 个数字:4 比 1 的压缩。如果重建的像素平均偏差 0.09,那么每个像素的平方误差大约是 0.008。这就是你将达到的误差大小。

损失是怎样测量的

每个像素是一个从 0(空白)到 1(满墨)的数字,所以解码器的最后一层为每个像素给出一个分数,而 sigmoid 把它变成 0..1。损失是第 3 模块中的二元交叉熵,在 64 个像素上求和,在批次上取平均。课程的引擎现在把它提供为 E.bce_with_logits(scores, pictures):它接受 sigmoid 之前的分数,所以它永远不会去取 0 的对数。

输出还会把图片以文本形式打印出来:gen.show(pictures) 会以从空白到满墨的深浅打印每一个 8x8 的数字。

本课中的词语和符号
自编码器
一个把图片压缩成少数几个数字的编码器,加上一个把它重建出来的解码器
编码(潜变量)
编码器从一张图片中得到的那少数几个数字
mu、logvar
在 VAE 中,一个编码数字的中心,以及它离散程度平方的对数
轮到你了

编写 encode(x):一个带 ReLU 的全连接层(P['e1']),然后一个到 16 个数字的全连接层(P['e2'])。以同样的方式用 P['d1']、ReLU 和 P['d2'] 编写 decode(code),返回 sigmoid 之前的 64 个分数。训练循环已经替你写好了。让测试集上的重建误差低于每个像素 0.012。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。