第 16 模块:博弈中的两个网络(GAN,选修)
有时有帮助的技巧
你以前学过这门课程吗?
这样我们只统计你一次。只会发送你的答案,以及你的匿名进度。
为什么重要 GAN 的论文和博客文章列出了几十种技巧。大多数只在一种设置上、而且常常只用一个种子展示过。在这里,你要在同一个崩塌上、在 8 个被记录的种子上测试其中四种,并报告你测量到的,而不是你读到的。
四种技巧,每一种都应用在那个有 8 个噪声数字、会崩塌的 GAN 上:
- 标签平滑:告诉 D 真实样本是 0.8 真实,而不是 1,这样它就永远不会变得太有把握。
- 实例噪声:在 D 看到的每一个点上加一点噪声,随着训练缩小到 0,这样真实的和假的在早期就会重叠。
- 谱归一化:D 的每一个权重矩阵都除以它最大的拉伸,这样 D 就没法对小的变化反应得太剧烈。
- 学习率平衡:G 比 D 慢(g_lr 2.5e-4)或者更快(g_lr 3e-3)。
按照第 9 模块的精神:只有当一个差异明显大于种子之间的噪声时,它才算数。逐个种子地把每种技巧和普通的训练比较(同样的种子,配对):
- helped:平均团块数至少高 1,并且在 8 个种子中至少 6 个上团块更多;
- hurt:平均团块数至少低 1 并且在至少 6 个种子上更少,或者平均质量至少低 0.25 并且在至少 6 个种子上更低(一个保住了团块却把点撒开的生成器并没有得到帮助);
- 否则就是 no clear change。
本课中的词语和符号
- GAN
- 生成对抗网络:一个生成器和一个判别器彼此对抗地训练
- 生成器(G)
- 把噪声变成一个样本的网络
- 覆盖的团块、质量
- 环形评判器:获得超过 2% 的点的团块,以及落在某个团块上的点所占的比例
- 标签平滑
- 用 0.8 而不是 1 的真实标签训练 D
- 实例噪声
- 加到 D 看到的一切东西上的噪声,随着训练缩小到 0
- 谱归一化
- 把 D 的每一个权重矩阵除以它最大的拉伸
轮到你了
编写 verdict(trick),根据被记录的训练返回 "helped"、"hurt" 或 "no clear change"。然后用你对五次技巧训练中每一次的判断填写 report。
本课已完成。干得好。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。