Programme Leçon 176 sur 246 · Module 16 : Deux réseaux qui jouent (GAN, facultatif)
Module 16 : Deux réseaux qui jouent (GAN, facultatif)

Deux réseaux qui jouent

Pourquoi c'est important Un VAE apprend à reconstruire des images et le paie en flou. Un GAN (réseau antagoniste génératif) ne reconstruit jamais rien. Un réseau fabrique des images, un deuxième les juge, et chacun s'entraîne contre l'autre. C'est l'idée derrière les premiers visages générés qui ont trompé les gens.

Les deux joueurs :

  • Le générateur G transforme un bruit aléatoire z en un échantillon, G(z).
  • Le discriminateur D regarde un échantillon et donne un score (un logit). sigmoid(score) est sa croyance que l'échantillon est réel.

D s'entraîne comme n'importe quel classifieur : les échantillons réels étiquetés 1, les générés étiquetés 0, entropie croisée binaire. G s'entraîne à tromper D. Il y a deux façons d'écrire la perte de G, et la différence décide si l'entraînement démarre tout court :

  • Saturante (le jeu de l'article original) : G minimise log(1 - D(G(z))).
  • Non saturante : G minimise -log D(G(z)). Le même but, « faire dire réel à D ».

De tout petits nombres : les pentes

Écris f pour le score de D sur un faux, donc D(G(z)) = sigmoid(f). La pente de chaque perte par rapport à f vaut :

saturante : -sigmoid(f)    non saturante : sigmoid(f) - 1

Tôt dans l'entraînement, D repère facilement les faux : D(G(z)) = 0.001. La pente saturante vaut alors -0.001, presque rien pour apprendre. La pente non saturante vaut -0.999, une poussée complète. Ça, c'est la théorie. Le cours a mesuré quand ça compte : sur l'anneau sain, les deux pertes s'entraînent (les 8 graines enregistrées) ; dans un réglage où D gagne, la perte saturante n'apprend rien.

Toutes les pertes ici utilisent des astuces log-sum-exp pour qu'aucun logarithme ne voie jamais 0 : log(sigmoid(f)) = -softplus(-f) et log(1 - sigmoid(f)) = -softplus(f), avec softplus(a) = log(1 + e^a), calculé comme np.logaddexp(0, a).

Mots et symboles de cette leçon
GAN
réseau antagoniste génératif : un générateur et un discriminateur entraînés l'un contre l'autre
générateur (G)
le réseau qui transforme du bruit en échantillon
discriminateur (D)
le réseau qui note un échantillon comme réel ou généré
perte saturante
G minimise log(1 - D(G(z))) ; sa pente vaut environ 0 une fois que D est sûr, donc G cesse d'apprendre
À ton tour

Écris les trois pertes comme des moyennes sur un lot de scores : d_loss(real_scores, fake_scores), g_loss_saturating(fake_scores) et g_loss_nonsat(fake_scores). Puis remplis slopes : pour chaque D(G(z)) parmi 0.001, 0.1 et 0.5, la pente de chaque perte du générateur par rapport au score du faux (pour un échantillon).

Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon

Cet exercice s'ouvre bientôt

Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.