有意制造模式崩塌
为什么重要 最常见的 GAN 失败看起来像是成功:每一个样本都清晰而可信,但它们几乎都一样。这叫作模式崩塌(每个团块都是数据的一个“模式”)。你没法修复你无法让它发生的东西,所以在这里你要让它发生。
它为什么会发生:G 只需要骗过今天的 D。如果某一个团块最能骗过 D,G 就会把所有东西都放在那里。D 学会了那个团块很可疑,G 就跳到另一个团块,而两者可以绕着环互相追逐,G 却永远不会铺开。
ganlab.train(...) 用下面任意一种设置训练和上一课一样的 GAN:noise(G 得到多少个噪声数字,默认为 2)、d_steps(每走一步 G,D 走几步,1)、g_lr 和 d_lr(各为 1e-3)、loss、smooth、instance_noise、spectral。被记录的训练 ganlab.recorded() 展示了某些设置在 8 个种子上的情况。
崩塌意味着团块很少并且点很清晰。一个把点撒得到处都是的生成器也只覆盖了很少的团块,但那是另一种失败:它从来就没学会这些团块。
本课中的词语和符号
- GAN
- 生成对抗网络:一个生成器和一个判别器彼此对抗地训练
- 生成器(G)
- 把噪声变成一个样本的网络
- 模式崩塌
- 生成器只生成少数几种样本,每一种都很可信
- 覆盖的团块、质量
- 环形评判器:获得超过 2% 的点的团块,以及落在某个团块上的点所占的比例
找出让 GAN 在种子 0 上崩塌的设置:最多覆盖 3 个团块,质量至少 0.6。把它们放进 settings。为了让每次尝试都很短,这一课以 0.002 的学习率训练 1000 步(已经替你设好;它显示的崩塌和 2000 步时一样)。只改变 GAN 自己的设置(noise、最多为 3 的 d_steps、loss、smooth、instance_noise、spectral);种子、步数和学习率保持给定的值。然后把 looks_like 设为描述崩塌的那个字母。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。