Programme Leçon 186 sur 246 · Module 17 : Du bruit en entrée, des images en sortie (diffusion)
Module 17 : Du bruit en entrée, des images en sortie (diffusion)

Calendriers de bruit : une perte plus basse, de pires échantillons

Pourquoi c'est important La perte est le nombre que tu surveilles, donc on est tenté de choisir ce qui la rend la plus basse. Ici, cet instinct est exactement faux, et voir pourquoi t'apprend ce que mesure la perte.

Deux calendriers pour les mêmes 100 pas :

  • Linéaire (l'article DDPM original) : beta monte régulièrement de 0.0001 à 0.02 × (1000 / T). Avec seulement 100 pas, abar tombe vite : la plupart des pas sont presque du bruit pur.
  • Cosinus (Nichol et Dhariwal, 2021) : abar suit une courbe en cosinus, donc le signal s'efface uniformément au fil des pas.

Le cours a entraîné les deux sur la spirale, 3 graines chacun (difflab.recorded()).

Prédis d'abord : quel calendrier finit avec la perte d'entraînement la plus basse, et lequel fabrique des échantillons qui se posent mieux sur la spirale ?

Mots et symboles de cette leçon
calendrier de bruit (beta)
la quantité de bruit frais mélangée à chaque pas
abar
la part du signal d'origine qui reste après un certain nombre de pas (sa racine carrée multiplie x0)
eps
le bruit en cloche qui a été ajouté ; le réseau apprend à le prédire
DDPM
échantillonner en revenant à travers chaque pas, avec un bruit frais à chaque fois
sur la forme, couverture
le juge 2D : la part des échantillons près de la vraie forme, et la part de la forme qui a un échantillon près d'elle
À ton tour

Affecte à guess, pour les deux questions, "linear" ou "cosine". Puis remplis table avec la perte finale moyenne et le score moyen sur la forme de chaque calendrier sur les 3 graines enregistrées, et noisy_share : pour chaque calendrier, la part des 100 pas où il reste moins de 10 % de la variance du signal (abar inférieur à 0.1 ; la taille du signal vaut sqrt(abar), environ 0.32 là). Enfin, affecte shows, les deux mêmes questions répondues à partir de ton tableau. Ta supposition reste telle que tu l'as faite.

Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon

Cet exercice s'ouvre bientôt

Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.