Des astuces qui aident parfois
Pourquoi c'est important Les articles et billets sur les GAN listent des dizaines d'astuces. La plupart ont été montrées sur une seule configuration, souvent avec une seule graine. Ici, tu en testes quatre sur le même effondrement, sur 8 graines enregistrées, et tu rapportes ce que tu as mesuré, pas ce que tu as lu.
Les quatre astuces, chacune appliquée au GAN qui s'effondre avec 8 nombres de bruit :
- Lissage des étiquettes : on dit à D que les échantillons réels sont réels à 0.8, pas 1, pour qu'il ne devienne jamais trop sûr.
- Bruit d'instance : un peu de bruit est ajouté à chaque point que voit D, qui rétrécit jusqu'à 0 au fil de l'entraînement, pour que réels et faux se recouvrent au début.
- Normalisation spectrale : chaque matrice de poids de D est divisée par son plus grand étirement, pour que D ne puisse pas réagir trop vivement à de petits changements.
- Équilibre des taux d'apprentissage : G plus lent que D (g_lr 2.5e-4) ou plus rapide (g_lr 3e-3).
Utilise l'esprit du module 9 : une différence ne compte que si elle est nettement plus grande que le bruit entre les graines. Compare chaque astuce avec l'exécution simple graine par graine (même graine, apparié) :
- a aidé : une moyenne de taches au moins 1 plus haute ET plus de taches sur au moins 6 des 8 graines ;
- a nui : une moyenne de taches au moins 1 plus basse et moins de taches sur au moins 6 graines, OU une qualité moyenne au moins 0.25 plus basse et plus basse sur au moins 6 graines (un générateur qui garde ses taches mais éparpille ses points n'a pas été aidé) ;
- sinon pas de changement net.
Mots et symboles de cette leçon
- GAN
- réseau antagoniste génératif : un générateur et un discriminateur entraînés l'un contre l'autre
- générateur (G)
- le réseau qui transforme du bruit en échantillon
- taches couvertes, qualité
- le juge de l'anneau : les taches avec plus de 2 % des points, et la part des points sur une tache
- lissage des étiquettes
- entraîner D sur des étiquettes réelles de 0.8 au lieu de 1
- bruit d'instance
- du bruit ajouté à tout ce que voit D, qui rétrécit jusqu'à 0 au fil de l'entraînement
- normalisation spectrale
- diviser chaque matrice de poids de D par son plus grand étirement
Écris verdict(trick) qui renvoie "helped", "hurt" ou "no clear change" à partir des exécutions enregistrées. Puis remplis report avec ton verdict pour chacune des cinq exécutions d'astuces.
Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon
Cet exercice s'ouvre bientôt
Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.
Ce navigateur bloque les cookies pour learn.floati.life, donc les leçons que tu as terminées ici ne peuvent pas s'ouvrir dans l'ordre. Autorise les cookies pour ce site et recharge la page.