博弈中的两个网络
为什么重要 VAE 学会重建图片,并以模糊为代价。GAN(生成对抗网络)从不重建任何东西。一个网络生成图片,第二个网络评判它们,而每一个都在和另一个对抗中训练。它是最早骗过人们的那些生成人脸背后的想法。
两个玩家:
- 生成器 G 把随机噪声 z 变成一个样本 G(z)。
- 判别器 D 查看一个样本并给出一个分数(一个 logit)。sigmoid(score) 是它认为这个样本是真实的信念。
D 像任何分类器一样训练:真实样本标记为 1,生成的样本标记为 0,使用二元交叉熵。G 的训练目标是骗过 D。G 的损失有两种写法,而它们的区别决定了训练能否开始:
- 饱和的(原始论文中的博弈):G 最小化 log(1 - D(G(z)))。
- 非饱和的:G 最小化 -log D(G(z))。同样的目标,“让 D 说它是真的”。
很小的数字:斜率
把 D 对一个假样本的分数记作 f,所以 D(G(z)) = sigmoid(f)。每个损失关于 f 的斜率是:
饱和的:-sigmoid(f) 非饱和的:sigmoid(f) - 1
在训练早期,D 很容易认出假样本:D(G(z)) = 0.001。这时饱和的斜率是 -0.001,几乎没有什么可以学习的。非饱和的斜率是 -0.999,一次全力的推动。这是理论。课程测量了它什么时候要紧:在健康的环上,两种损失都能训练(全部 8 个被记录的种子);在一个 D 占上风的设置中,饱和损失什么都学不到。
这里所有的损失都使用了 log-sum-exp 技巧,所以没有任何对数会遇到 0:log(sigmoid(f)) = -softplus(-f) 以及 log(1 - sigmoid(f)) = -softplus(f),其中 softplus(a) = log(1 + e^a),用 np.logaddexp(0, a) 来计算。
本课中的词语和符号
- GAN
- 生成对抗网络:一个生成器和一个判别器彼此对抗地训练
- 生成器(G)
- 把噪声变成一个样本的网络
- 判别器(D)
- 给一个样本打分、判断它是真实的还是生成的网络
- 饱和损失
- G 最小化 log(1 - D(G(z)));一旦 D 有了把握,它的斜率就接近 0,所以 G 停止学习
把三个损失写成对一个批次分数的平均:d_loss(real_scores, fake_scores)、g_loss_saturating(fake_scores) 和 g_loss_nonsat(fake_scores)。然后填写 slopes:对于 0.001、0.1 和 0.5 中的每一个 D(G(z)),每个生成器损失关于假样本分数的斜率(针对一个样本)。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。