Programme Leçon 184 sur 246 · Module 17 : Du bruit en entrée, des images en sortie (diffusion)
Module 17 : Du bruit en entrée, des images en sortie (diffusion)

Apprendre à prédire le bruit

Pourquoi c'est important Toute la recette d'entraînement d'un modèle de diffusion tient en cinq lignes, et c'est une simple régression : montre au réseau un point bruité et le pas, demande-lui le bruit. Pas de jeu, pas de deuxième réseau.

Une étape d'entraînement :

  1. Prends un lot de vrais points x0 et, pour chacun, un pas aléatoire t et un bruit frais eps.
  2. Saute jusqu'à x_t avec le raccourci.
  3. Demande le bruit au réseau : model.predict(x_t, t).
  4. Perte = moyenne de (bruit prédit - eps) au carré.
  5. Passe arrière, pas.

Prédis la courbe

Avant d'exécuter, devine la perte à trois moments : sur les 10 premiers pas, vers le pas 300, et vers le pas 3000. Deux repères : un réseau qui prédit toujours 0 obtient exactement 1 (le bruit a une dispersion de 1), et un réseau parfait ne peut pas atteindre 0, parce qu'aux pas très bruités le bruit est facile à deviner mais aux pas presque propres il est presque impossible.

Où en est le domaine Prédire le bruit revient, à un facteur près, à estimer le score : la direction dans laquelle les données bruitées deviennent plus probables (Song et Ermon 2019 ; Ho et al. 2020). C'est pourquoi les flèches pointent vers la maison. Les vrais générateurs d'images n'ajoutent pas de bruit aux pixels : ils compressent d'abord chaque image avec un autoencodeur, comme au module 15, et font la diffusion sur les petits codes (diffusion latente, Rombach et al. 2022). Tout ce qui est dans ce module s'y transpose ; seul l'espace change.

Mots et symboles de cette leçon
modèle de diffusion
un réseau entraîné à retirer le bruit un peu à la fois ; exécuté à rebours depuis du bruit pur, il génère
x0, x_t
les données propres, et les mêmes données après t pas de bruit
eps
le bruit en cloche qui a été ajouté ; le réseau apprend à le prédire
sur la forme, couverture
le juge 2D : la part des échantillons près de la vraie forme, et la part de la forme qui a un échantillon près d'elle
À ton tour

Remplis my_guess, puis écris le corps de la boucle (3000 pas de 256 points de spirale ; difflab.shape('spiral', 256, rng), difflab.add_noise). Ajoute la perte de chaque pas à losses. Tu réussis avec une perte finale inférieure à 0.40 et des échantillons à au moins 0.75 sur la forme.

Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon

Cet exercice s'ouvre bientôt

Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.