Programme Leçon 182 sur 246 · Module 17 : Du bruit en entrée, des images en sortie (diffusion)
Module 17 : Du bruit en entrée, des images en sortie (diffusion)

Ajouter du bruit, pas à pas

Pourquoi c'est important Les générateurs d'images derrière l'art par IA d'aujourd'hui travaillent à rebours depuis le bruit. Pour apprendre à retirer du bruit, un réseau doit d'abord voir exactement comment le bruit a été ajouté. Cette moitié vers l'avant est de l'arithmétique pure, et elle a un raccourci qui rend l'entraînement possible.

Prends un point propre x0 (une valeur de pixel, ou un point en 2D). À chacun des T = 100 pas, rétrécis-le un peu et ajoute un peu de bruit frais :

x_t = sqrt(1 - beta_t) x_(t-1) + sqrt(beta_t) eps, avec eps tiré de N(0, 1)

La liste beta_0 ... beta_99 est le calendrier de bruit. Regarde la scène : une spirale de points se dissout en un nuage rond de bruit.

Le raccourci

Rétrécir et ajouter du bruit en cloche encore et encore revient à le faire une seule fois avec les totaux. Écris abar_t pour le produit de tous les facteurs (1 - beta) jusqu'au pas t. Alors

x_t = sqrt(abar_t) x0 + sqrt(1 - abar_t) eps

d'un coup : le signal restant vaut sqrt(abar_t), la dispersion du bruit vaut sqrt(1 - abar_t). L'entraînement peut sauter instantanément à n'importe quel pas, au lieu d'y marcher.

De tout petits nombres

Deux pas avec beta = 0.1 chacun : abar = 0.9 × 0.9 = 0.81. À partir de x0 = 1, le signal restant vaut sqrt(0.81) = 0.9 et la dispersion du bruit vaut sqrt(0.19) = 0.44. En marchant : après le pas 1, 0.949 × 1 plus un bruit de dispersion 0.316 ; après le pas 2, tout rétrécit encore de 0.949 et un bruit frais de dispersion 0.316 s'ajoute. Les dispersions s'additionnent au carré : 0.949^2 × 0.1 + 0.1 = 0.19. La même réponse.

Mots et symboles de cette leçon
calendrier de bruit (beta)
la quantité de bruit frais mélangée à chaque pas
abar
la part du signal d'origine qui reste après un certain nombre de pas (sa racine carrée multiplie x0)
x0, x_t
les données propres, et les mêmes données après t pas de bruit
eps
le bruit en cloche qui a été ajouté ; le réseau apprend à le prédire
À ton tour

Écris walk(x0, t, beta, rng) (un pas à la fois, t + 1 pas du pas 0 au pas t) et jump(x0, t, abar, eps) (le raccourci). Puis bruite 20000 copies du point (1.0, -0.5) jusqu'au pas 40 des deux façons et remplis stats avec la moyenne et la dispersion de chaque version (par coordonnée) à côté de ce que le calendrier dit qu'elles devraient être.

Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon

Cet exercice s'ouvre bientôt

Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.