Müfredat 246 dersinden 184. · Modül 17: Gürültü girer, resim çıkar (difüzyon)
Modül 17: Gürültü girer, resim çıkar (difüzyon)

Gürültüyü tahmin etmeyi öğrenmek

Neden önemli Bir difüzyon modelinin bütün eğitim tarifi beş satıra sığar, ve düz bir regresyondur: ağa gürültülü bir nokta ve adımı göster, gürültüyü sor. Oyun yok, ikinci bir ağ yok.

Bir eğitim adımı:

  1. Gerçek x0 noktalarından bir batch al ve her biri için rastgele bir t adımı ve yeni eps gürültüsü.
  2. Kestirmeyle x_t'ye sıçra.
  3. Ağdan gürültüyü iste: model.predict(x_t, t).
  4. Kayıp = (tahmin edilen gürültü - eps) karesinin ortalaması.
  5. Geri, adım.

Eğriyi Tahmin Et

Çalıştırmadan önce kaybı üç anda tahmin et: ilk 10 adım boyunca, 300. adım civarında ve 3000. adım civarında. İki dayanak: hep 0 tahmin eden bir ağ tam olarak 1 alır (gürültünün yayılımı 1), ve mükemmel bir ağ 0'a ulaşamaz, çünkü çok gürültülü adımlarda gürültüyü tahmin etmek kolaydır ama neredeyse temiz adımlarda neredeyse imkânsızdır.

Alan şu an nerede Gürültüyü tahmin etmek, bir ölçek farkıyla, skoru tahmin etmekle aynıdır: gürültülü verinin daha olası hale geldiği yön (Song ve Ermon 2019; Ho vd. 2020). Okların eve göstermesinin nedeni budur. Gerçek resim üreticileri piksellere gürültü eklemez: önce her resmi Modül 15'teki gibi bir otokodlayıcıyla sıkıştırırlar, ve difüzyonu küçük kodlar üzerinde çalıştırırlar (gizil difüzyon, Rombach vd. 2022). Bu modüldeki her şey taşınır; yalnızca uzay değişir.

Bu dersteki kelimeler ve semboller
difüzyon modeli
gürültüyü azar azar kaldırmak için eğitilmiş bir ağ; saf gürültüden geriye çalıştırıldığında üretir
x0, x_t
temiz veri, ve t adım gürültüden sonraki aynı veri
eps
eklenen çan eğrisi gürültüsü; ağ onu tahmin etmeyi öğrenir
şekil üzerinde, kapsama
2B hakemi: gerçek şeklin yakınındaki örneklerin payı, ve yakınında bir örnek bulunan şeklin payı
Senin sıran

my_guess doldur, sonra döngünün gövdesini yaz (256 sarmal noktasından 3000 adım; difflab.shape('spiral', 256, rng), difflab.add_noise). Her adımın kaybını losses'a ekle. 0.40'ın altında bir son kayıp ve şekil üzerinde en az 0.75 olan örneklerle geç.

Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor

Bu alıştırma yakında açılacak

Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.