课程大纲 第 178 课,共 246 课 · 第 16 模块:博弈中的两个网络(GAN,选修)
第 16 模块:博弈中的两个网络(GAN,选修)

有意制造模式崩塌

为什么重要 最常见的 GAN 失败看起来像是成功:每一个样本都清晰而可信,但它们几乎都一样。这叫作模式崩塌(每个团块都是数据的一个“模式”)。你没法修复你无法让它发生的东西,所以在这里你要让它发生。

它为什么会发生:G 只需要骗过今天的 D。如果某一个团块最能骗过 D,G 就会把所有东西都放在那里。D 学会了那个团块很可疑,G 就跳到另一个团块,而两者可以绕着环互相追逐,G 却永远不会铺开。

ganlab.train(...) 用下面任意一种设置训练和上一课一样的 GAN:noise(G 得到多少个噪声数字,默认为 2)、d_steps(每走一步 G,D 走几步,1)、g_lr 和 d_lr(各为 1e-3)、loss、smooth、instance_noise、spectral。被记录的训练 ganlab.recorded() 展示了某些设置在 8 个种子上的情况。

崩塌意味着团块很少并且点很清晰。一个把点撒得到处都是的生成器也只覆盖了很少的团块,但那是另一种失败:它从来就没学会这些团块。

本课中的词语和符号
GAN
生成对抗网络:一个生成器和一个判别器彼此对抗地训练
生成器(G)
把噪声变成一个样本的网络
模式崩塌
生成器只生成少数几种样本,每一种都很可信
覆盖的团块、质量
环形评判器:获得超过 2% 的点的团块,以及落在某个团块上的点所占的比例
轮到你了

找出让 GAN 在种子 0 上崩塌的设置:最多覆盖 3 个团块,质量至少 0.6。把它们放进 settings。为了让每次尝试都很短,这一课以 0.002 的学习率训练 1000 步(已经替你设好;它显示的崩塌和 2000 步时一样)。只改变 GAN 自己的设置(noise、最多为 3 的 d_steps、loss、smooth、instance_noise、spectral);种子、步数和学习率保持给定的值。然后把 looks_like 设为描述崩塌的那个字母。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。