Apprendre à prédire le bruit
Pourquoi c'est important Toute la recette d'entraînement d'un modèle de diffusion tient en cinq lignes, et c'est une simple régression : montre au réseau un point bruité et le pas, demande-lui le bruit. Pas de jeu, pas de deuxième réseau.
Une étape d'entraînement :
- Prends un lot de vrais points x0 et, pour chacun, un pas aléatoire t et un bruit frais eps.
- Saute jusqu'à x_t avec le raccourci.
- Demande le bruit au réseau :
model.predict(x_t, t). - Perte = moyenne de (bruit prédit - eps) au carré.
- Passe arrière, pas.
Prédis la courbe
Avant d'exécuter, devine la perte à trois moments : sur les 10 premiers pas, vers le pas 300, et vers le pas 3000. Deux repères : un réseau qui prédit toujours 0 obtient exactement 1 (le bruit a une dispersion de 1), et un réseau parfait ne peut pas atteindre 0, parce qu'aux pas très bruités le bruit est facile à deviner mais aux pas presque propres il est presque impossible.
Où en est le domaine Prédire le bruit revient, à un facteur près, à estimer le score : la direction dans laquelle les données bruitées deviennent plus probables (Song et Ermon 2019 ; Ho et al. 2020). C'est pourquoi les flèches pointent vers la maison. Les vrais générateurs d'images n'ajoutent pas de bruit aux pixels : ils compressent d'abord chaque image avec un autoencodeur, comme au module 15, et font la diffusion sur les petits codes (diffusion latente, Rombach et al. 2022). Tout ce qui est dans ce module s'y transpose ; seul l'espace change.
Mots et symboles de cette leçon
- modèle de diffusion
- un réseau entraîné à retirer le bruit un peu à la fois ; exécuté à rebours depuis du bruit pur, il génère
- x0, x_t
- les données propres, et les mêmes données après t pas de bruit
- eps
- le bruit en cloche qui a été ajouté ; le réseau apprend à le prédire
- sur la forme, couverture
- le juge 2D : la part des échantillons près de la vraie forme, et la part de la forme qui a un échantillon près d'elle
Remplis my_guess, puis écris le corps de la boucle (3000 pas de 256 points de spirale ; difflab.shape('spiral', 256, rng), difflab.add_noise). Ajoute la perte de chaque pas à losses. Tu réussis avec une perte finale inférieure à 0.40 et des échantillons à au moins 0.75 sur la forme.
Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon
Cet exercice s'ouvre bientôt
Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.
Ce navigateur bloque les cookies pour learn.floati.life, donc les leçons que tu as terminées ici ne peuvent pas s'ouvrir dans l'ordre. Autorise les cookies pour ce site et recharge la page.