课程大纲 第 179 课,共 246 课 · 第 16 模块:博弈中的两个网络(GAN,选修)
第 16 模块:博弈中的两个网络(GAN,选修)

有时有帮助的技巧

为什么重要 GAN 的论文和博客文章列出了几十种技巧。大多数只在一种设置上、而且常常只用一个种子展示过。在这里,你要在同一个崩塌上、在 8 个被记录的种子上测试其中四种,并报告你测量到的,而不是你读到的。

四种技巧,每一种都应用在那个有 8 个噪声数字、会崩塌的 GAN 上:

  • 标签平滑:告诉 D 真实样本是 0.8 真实,而不是 1,这样它就永远不会变得太有把握。
  • 实例噪声:在 D 看到的每一个点上加一点噪声,随着训练缩小到 0,这样真实的和假的在早期就会重叠。
  • 谱归一化:D 的每一个权重矩阵都除以它最大的拉伸,这样 D 就没法对小的变化反应得太剧烈。
  • 学习率平衡:G 比 D 慢(g_lr 2.5e-4)或者更快(g_lr 3e-3)。

按照第 9 模块的精神:只有当一个差异明显大于种子之间的噪声时,它才算数。逐个种子地把每种技巧和普通的训练比较(同样的种子,配对):

  • helped:平均团块数至少高 1,并且在 8 个种子中至少 6 个上团块更多;
  • hurt:平均团块数至少低 1 并且在至少 6 个种子上更少,或者平均质量至少低 0.25 并且在至少 6 个种子上更低(一个保住了团块却把点撒开的生成器并没有得到帮助);
  • 否则就是 no clear change。
本课中的词语和符号
GAN
生成对抗网络:一个生成器和一个判别器彼此对抗地训练
生成器(G)
把噪声变成一个样本的网络
覆盖的团块、质量
环形评判器:获得超过 2% 的点的团块,以及落在某个团块上的点所占的比例
标签平滑
用 0.8 而不是 1 的真实标签训练 D
实例噪声
加到 D 看到的一切东西上的噪声,随着训练缩小到 0
谱归一化
把 D 的每一个权重矩阵除以它最大的拉伸
轮到你了

编写 verdict(trick),根据被记录的训练返回 "helped"、"hurt" 或 "no clear change"。然后用你对五次技巧训练中每一次的判断填写 report。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。