课程大纲 第 176 课,共 246 课 · 第 16 模块:博弈中的两个网络(GAN,选修)
第 16 模块:博弈中的两个网络(GAN,选修)

博弈中的两个网络

为什么重要 VAE 学会重建图片,并以模糊为代价。GAN(生成对抗网络)从不重建任何东西。一个网络生成图片,第二个网络评判它们,而每一个都在和另一个对抗中训练。它是最早骗过人们的那些生成人脸背后的想法。

两个玩家:

  • 生成器 G 把随机噪声 z 变成一个样本 G(z)。
  • 判别器 D 查看一个样本并给出一个分数(一个 logit)。sigmoid(score) 是它认为这个样本是真实的信念。

D 像任何分类器一样训练:真实样本标记为 1,生成的样本标记为 0,使用二元交叉熵。G 的训练目标是骗过 D。G 的损失有两种写法,而它们的区别决定了训练能否开始:

  • 饱和的(原始论文中的博弈):G 最小化 log(1 - D(G(z)))。
  • 非饱和的:G 最小化 -log D(G(z))。同样的目标,“让 D 说它是真的”。

很小的数字:斜率

把 D 对一个假样本的分数记作 f,所以 D(G(z)) = sigmoid(f)。每个损失关于 f 的斜率是:

饱和的:-sigmoid(f)    非饱和的:sigmoid(f) - 1

在训练早期,D 很容易认出假样本:D(G(z)) = 0.001。这时饱和的斜率是 -0.001,几乎没有什么可以学习的。非饱和的斜率是 -0.999,一次全力的推动。这是理论。课程测量了它什么时候要紧:在健康的环上,两种损失都能训练(全部 8 个被记录的种子);在一个 D 占上风的设置中,饱和损失什么都学不到。

这里所有的损失都使用了 log-sum-exp 技巧,所以没有任何对数会遇到 0:log(sigmoid(f)) = -softplus(-f) 以及 log(1 - sigmoid(f)) = -softplus(f),其中 softplus(a) = log(1 + e^a),用 np.logaddexp(0, a) 来计算。

本课中的词语和符号
GAN
生成对抗网络:一个生成器和一个判别器彼此对抗地训练
生成器(G)
把噪声变成一个样本的网络
判别器(D)
给一个样本打分、判断它是真实的还是生成的网络
饱和损失
G 最小化 log(1 - D(G(z)));一旦 D 有了把握,它的斜率就接近 0,所以 G 停止学习
轮到你了

把三个损失写成对一个批次分数的平均:d_loss(real_scores, fake_scores)、g_loss_saturating(fake_scores) 和 g_loss_nonsat(fake_scores)。然后填写 slopes:对于 0.001、0.1 和 0.5 中的每一个 D(G(z)),每个生成器损失关于假样本分数的斜率(针对一个样本)。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。