Du bruit à une spirale (DDPM)
Pourquoi c'est important C'est le moment où le bruit devient des données. Pars de bruit pur et fais 100 petits pas en arrière, chacun utilisant une fois le réseau. La boucle que tu écris ici est, dans sa forme, celle qui dessine les images dans les générateurs d'aujourd'hui.
Un pas en arrière de x_t vers x_(t-1), à la façon DDPM :
- Prédis le bruit, et à partir de lui l'estimation propre x0 (leçon précédente).
- Écrête x0 dans l'intervalle que peuvent avoir les vraies données (ici de -3 à 3).
- Va à la moyenne exacte de l'endroit où serait x_(t-1), étant donnés x_t et x0 :
mean = (sqrt(abar_(t-1)) beta_t / (1 - abar_t)) x0 + (sqrt(1 - beta_t) (1 - abar_(t-1)) / (1 - abar_t)) x_t - Ajoute un bruit frais de dispersion
sqrt(beta_t (1 - abar_(t-1)) / (1 - abar_t)), sauf au dernier pas. (abar_(-1) compte pour 1.)
Pourquoi l'écrêtage ? Le cours l'a découvert à ses dépens. Aux tout derniers pas du calendrier en cosinus, beta atteint 0.999, donc un pas simple multiplie par environ 30 toute erreur dans le bruit prédit. Sans l'écrêtage, le modèle de chiffres du cours dessinait des images plus proches de pixels brouillés que de chiffres (proximité de 4.68). Avec lui, 1.09.
Mots et symboles de cette leçon
- calendrier de bruit (beta)
- la quantité de bruit frais mélangée à chaque pas
- abar
- la part du signal d'origine qui reste après un certain nombre de pas (sa racine carrée multiplie x0)
- x0, x_t
- les données propres, et les mêmes données après t pas de bruit
- eps
- le bruit en cloche qui a été ajouté ; le réseau apprend à le prédire
- DDPM
- échantillonner en revenant à travers chaque pas, avec un bruit frais à chaque fois
- sur la forme, couverture
- le juge 2D : la part des échantillons près de la vraie forme, et la part de la forme qui a un échantillon près d'elle
Écris step_back(x, eps_pred, t, beta, abar, rng) exactement comme les quatre étapes ci-dessus (écrête x0 de -3 à 3, la moyenne, puis le bruit sauf en t = 0) et la boucle d'échantillonnage generate(model, n, rng) qui part d'un bruit N(0, 1) au pas 99 et revient jusqu'à 0. Tu réussis avec des échantillons à au moins 0.8 sur la spirale et une couverture de 0.95.
Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon
Cet exercice s'ouvre bientôt
Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.
Ce navigateur bloque les cookies pour learn.floati.life, donc les leçons que tu as terminées ici ne peuvent pas s'ouvrir dans l'ordre. Autorise les cookies pour ce site et recharge la page.