Calendriers de bruit : une perte plus basse, de pires échantillons
Pourquoi c'est important La perte est le nombre que tu surveilles, donc on est tenté de choisir ce qui la rend la plus basse. Ici, cet instinct est exactement faux, et voir pourquoi t'apprend ce que mesure la perte.
Deux calendriers pour les mêmes 100 pas :
- Linéaire (l'article DDPM original) : beta monte régulièrement de 0.0001 à 0.02 × (1000 / T). Avec seulement 100 pas, abar tombe vite : la plupart des pas sont presque du bruit pur.
- Cosinus (Nichol et Dhariwal, 2021) : abar suit une courbe en cosinus, donc le signal s'efface uniformément au fil des pas.
Le cours a entraîné les deux sur la spirale, 3 graines chacun (difflab.recorded()).
Prédis d'abord : quel calendrier finit avec la perte d'entraînement la plus basse, et lequel fabrique des échantillons qui se posent mieux sur la spirale ?
Mots et symboles de cette leçon
- calendrier de bruit (beta)
- la quantité de bruit frais mélangée à chaque pas
- abar
- la part du signal d'origine qui reste après un certain nombre de pas (sa racine carrée multiplie x0)
- eps
- le bruit en cloche qui a été ajouté ; le réseau apprend à le prédire
- DDPM
- échantillonner en revenant à travers chaque pas, avec un bruit frais à chaque fois
- sur la forme, couverture
- le juge 2D : la part des échantillons près de la vraie forme, et la part de la forme qui a un échantillon près d'elle
Affecte à guess, pour les deux questions, "linear" ou "cosine". Puis remplis table avec la perte finale moyenne et le score moyen sur la forme de chaque calendrier sur les 3 graines enregistrées, et noisy_share : pour chaque calendrier, la part des 100 pas où il reste moins de 10 % de la variance du signal (abar inférieur à 0.1 ; la taille du signal vaut sqrt(abar), environ 0.32 là). Enfin, affecte shows, les deux mêmes questions répondues à partir de ton tableau. Ta supposition reste telle que tu l'as faite.
Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon
Cet exercice s'ouvre bientôt
Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.
Ce navigateur bloque les cookies pour learn.floati.life, donc les leçons que tu as terminées ici ne peuvent pas s'ouvrir dans l'ordre. Autorise les cookies pour ce site et recharge la page.