Ajouter du bruit, pas à pas
Pourquoi c'est important Les générateurs d'images derrière l'art par IA d'aujourd'hui travaillent à rebours depuis le bruit. Pour apprendre à retirer du bruit, un réseau doit d'abord voir exactement comment le bruit a été ajouté. Cette moitié vers l'avant est de l'arithmétique pure, et elle a un raccourci qui rend l'entraînement possible.
Prends un point propre x0 (une valeur de pixel, ou un point en 2D). À chacun des T = 100 pas, rétrécis-le un peu et ajoute un peu de bruit frais :
x_t = sqrt(1 - beta_t) x_(t-1) + sqrt(beta_t) eps, avec eps tiré de N(0, 1)
La liste beta_0 ... beta_99 est le calendrier de bruit. Regarde la scène : une spirale de points se dissout en un nuage rond de bruit.
Le raccourci
Rétrécir et ajouter du bruit en cloche encore et encore revient à le faire une seule fois avec les totaux. Écris abar_t pour le produit de tous les facteurs (1 - beta) jusqu'au pas t. Alors
x_t = sqrt(abar_t) x0 + sqrt(1 - abar_t) eps
d'un coup : le signal restant vaut sqrt(abar_t), la dispersion du bruit vaut sqrt(1 - abar_t). L'entraînement peut sauter instantanément à n'importe quel pas, au lieu d'y marcher.
De tout petits nombres
Deux pas avec beta = 0.1 chacun : abar = 0.9 × 0.9 = 0.81. À partir de x0 = 1, le signal restant vaut sqrt(0.81) = 0.9 et la dispersion du bruit vaut sqrt(0.19) = 0.44. En marchant : après le pas 1, 0.949 × 1 plus un bruit de dispersion 0.316 ; après le pas 2, tout rétrécit encore de 0.949 et un bruit frais de dispersion 0.316 s'ajoute. Les dispersions s'additionnent au carré : 0.949^2 × 0.1 + 0.1 = 0.19. La même réponse.
Mots et symboles de cette leçon
- calendrier de bruit (beta)
- la quantité de bruit frais mélangée à chaque pas
- abar
- la part du signal d'origine qui reste après un certain nombre de pas (sa racine carrée multiplie x0)
- x0, x_t
- les données propres, et les mêmes données après t pas de bruit
- eps
- le bruit en cloche qui a été ajouté ; le réseau apprend à le prédire
Écris walk(x0, t, beta, rng) (un pas à la fois, t + 1 pas du pas 0 au pas t) et jump(x0, t, abar, eps) (le raccourci). Puis bruite 20000 copies du point (1.0, -0.5) jusqu'au pas 40 des deux façons et remplis stats avec la moyenne et la dispersion de chaque version (par coordonnée) à côté de ce que le calendrier dit qu'elles devraient être.
Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon
Cet exercice s'ouvre bientôt
Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.
Ce navigateur bloque les cookies pour learn.floati.life, donc les leçons que tu as terminées ici ne peuvent pas s'ouvrir dans l'ordre. Autorise les cookies pour ce site et recharge la page.