Silabus Pelajaran 184 dari 246 · Modul 17: Masukan noise, keluaran gambar (diffusion)
Modul 17: Masukan noise, keluaran gambar (diffusion)

Belajar memprediksi noise

Kenapa ini penting Seluruh resep pelatihan untuk model diffusion muat dalam lima baris, dan ini adalah regresi biasa: tunjukkan titik berisik dan langkahnya ke network, minta noise. Tanpa game, tanpa network kedua.

Satu langkah pelatihan:

  1. Ambil sekumpulan titik nyata x0 dan, untuk setiap titik, langkah acak t dan noise baru eps.
  2. Lompat ke x_t dengan shortcut.
  3. Minta noise ke jaringan: model.predict(x_t, t).
  4. Loss = rata-rata dari (predicted noise - eps) kuadrat.
  5. Mundur, langkah.

Tebak Kurvanya

Sebelum menjalankan, tebak loss pada tiga momen: setelah 10 langkah pertama, sekitar langkah 300, dan sekitar langkah 3000. Dua jangkar: jaringan yang selalu memprediksi 0 memiliki skor tepat 1 (noise telah menyebar 1), dan jaringan sempurna tidak bisa mencapai 0, karena pada langkah yang sangat berisik noise mudah ditebak tapi pada langkah yang hampir bersih itu hampir mustahil.

Di mana bidangnya sekarang Memprediksi noise itu, sampai skala tertentu, sama dengan mengestimasi score: arah di mana data berisik menjadi lebih mungkin (Song and Ermon 2019; Ho et al. 2020). Itulah kenapa panahnya mengarah ke rumah. Generator gambar asli tidak menambahkan noise ke pixel: mereka pertama kali mengecilkan setiap gambar dengan autoencoder, seperti di Module 15, dan menjalankan diffusion pada kode kecil (latent diffusion, Rombach et al. 2022). Semuanya di modul ini tetap sama; hanya ruangnya yang berubah.

Kata dan simbol di pelajaran ini
model difusi
jaringan yang dilatih untuk menghapus noise sedikit demi sedikit; berjalan mundur dari noise murni, ia menghasilkan
x0, x_t
data bersih, dan data yang sama setelah t langkah noise
eps
noise bell-curve yang ditambahkan; jaringan belajar untuk memprediksinya
Bentuk
, cakupan
hakim 2D: bagian sampel yang dekat dengan bentuk asli, dan bagian bentuk yang memiliki sampel di dekatnya
Giliranku

Isi

my_guess, lalu tulis isi loop (3000 langkah dari 256 titik spiral; difflab.shape('spiral', 256, rng), difflab.add_noise). Tambahkan loss setiap langkah ke losses. Lulus dengan loss akhir di bawah 0.40 dan sampel setidaknya 0.75 pada shape.

Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini

Latihan ini akan segera dibuka

Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.