Programme Leçon 178 sur 246 · Module 16 : Deux réseaux qui jouent (GAN, facultatif)
Module 16 : Deux réseaux qui jouent (GAN, facultatif)

L'effondrement de modes, exprès

Pourquoi c'est important La panne de GAN la plus courante ressemble à un succès : chaque échantillon est net et convaincant, mais ils sont tous presque identiques. Ça s'appelle l'effondrement de modes (chaque tache est un « mode » des données). Tu ne peux pas réparer ce que tu ne sais pas provoquer, donc ici tu le provoques.

Pourquoi ça arrive : G n'a qu'à tromper le D d'aujourd'hui. Si une tache trompe le mieux D, G met tout là. D apprend que cette tache est suspecte, G saute vers une autre, et les deux peuvent se poursuivre autour de l'anneau sans que G se répartisse jamais.

ganlab.train(...) entraîne le même GAN que la leçon précédente avec n'importe lequel de ces réglages : noise (combien de nombres de bruit reçoit G, 2 par défaut), d_steps (les pas de D par pas de G, 1), g_lr et d_lr (1e-3 chacun), loss, smooth, instance_noise, spectral. Les exécutions enregistrées, ganlab.recorded(), montrent certains réglages sur 8 graines.

L'effondrement veut dire peu de taches ET des points nets. Un générateur qui éparpille ses points partout couvre aussi peu de taches, mais c'est une panne différente : il n'a jamais appris les taches du tout.

Mots et symboles de cette leçon
GAN
réseau antagoniste génératif : un générateur et un discriminateur entraînés l'un contre l'autre
générateur (G)
le réseau qui transforme du bruit en échantillon
effondrement de modes
le générateur ne fabrique que quelques sortes d'échantillons, chacune convaincante
taches couvertes, qualité
le juge de l'anneau : les taches avec plus de 2 % des points, et la part des points sur une tache
À ton tour

Trouve des réglages qui font s'effondrer le GAN avec la graine 0 : au plus 3 taches couvertes, avec une qualité d'au moins 0.6. Mets-les dans settings. Pour que chaque essai reste court, cette leçon entraîne pendant 1000 pas à un taux d'apprentissage de 0.002 (fixé pour toi ; l'effondrement qu'il montre est le même qu'à 2000 pas). Ne change que les réglages propres au GAN (noise, d_steps jusqu'à 3, loss, smooth, instance_noise, spectral) ; la graine, les pas et les taux d'apprentissage restent tels que donnés. Puis affecte à looks_like la lettre qui décrit l'effondrement.

Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon

Cet exercice s'ouvre bientôt

Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.