Deux réseaux qui jouent
Pourquoi c'est important Un VAE apprend à reconstruire des images et le paie en flou. Un GAN (réseau antagoniste génératif) ne reconstruit jamais rien. Un réseau fabrique des images, un deuxième les juge, et chacun s'entraîne contre l'autre. C'est l'idée derrière les premiers visages générés qui ont trompé les gens.
Les deux joueurs :
- Le générateur G transforme un bruit aléatoire z en un échantillon, G(z).
- Le discriminateur D regarde un échantillon et donne un score (un logit). sigmoid(score) est sa croyance que l'échantillon est réel.
D s'entraîne comme n'importe quel classifieur : les échantillons réels étiquetés 1, les générés étiquetés 0, entropie croisée binaire. G s'entraîne à tromper D. Il y a deux façons d'écrire la perte de G, et la différence décide si l'entraînement démarre tout court :
- Saturante (le jeu de l'article original) : G minimise log(1 - D(G(z))).
- Non saturante : G minimise -log D(G(z)). Le même but, « faire dire réel à D ».
De tout petits nombres : les pentes
Écris f pour le score de D sur un faux, donc D(G(z)) = sigmoid(f). La pente de chaque perte par rapport à f vaut :
saturante : -sigmoid(f) non saturante : sigmoid(f) - 1
Tôt dans l'entraînement, D repère facilement les faux : D(G(z)) = 0.001. La pente saturante vaut alors -0.001, presque rien pour apprendre. La pente non saturante vaut -0.999, une poussée complète. Ça, c'est la théorie. Le cours a mesuré quand ça compte : sur l'anneau sain, les deux pertes s'entraînent (les 8 graines enregistrées) ; dans un réglage où D gagne, la perte saturante n'apprend rien.
Toutes les pertes ici utilisent des astuces log-sum-exp pour qu'aucun logarithme ne voie jamais 0 : log(sigmoid(f)) = -softplus(-f) et log(1 - sigmoid(f)) = -softplus(f), avec softplus(a) = log(1 + e^a), calculé comme np.logaddexp(0, a).
Mots et symboles de cette leçon
- GAN
- réseau antagoniste génératif : un générateur et un discriminateur entraînés l'un contre l'autre
- générateur (G)
- le réseau qui transforme du bruit en échantillon
- discriminateur (D)
- le réseau qui note un échantillon comme réel ou généré
- perte saturante
- G minimise log(1 - D(G(z))) ; sa pente vaut environ 0 une fois que D est sûr, donc G cesse d'apprendre
Écris les trois pertes comme des moyennes sur un lot de scores : d_loss(real_scores, fake_scores), g_loss_saturating(fake_scores) et g_loss_nonsat(fake_scores). Puis remplis slopes : pour chaque D(G(z)) parmi 0.001, 0.1 et 0.5, la pente de chaque perte du générateur par rapport au score du faux (pour un échantillon).
Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon
Cet exercice s'ouvre bientôt
Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.
Ce navigateur bloque les cookies pour learn.floati.life, donc les leçons que tu as terminées ici ne peuvent pas s'ouvrir dans l'ordre. Autorise les cookies pour ce site et recharge la page.