Dari noise ke spiral (DDPM)
Kenapa ini penting Ini adalah momen saat noise menjadi data. Mulai dari noise murni dan ambil 100 langkah kecil ke belakang, masing-masing menggunakan network sekali. Loop yang kamu tulis di sini, secara bentuk, adalah yang menggambar gambar di generator gambar saat ini.
Satu langkah mundur dari x_t ke x_(t-1), cara DDPM:
- Prediksi noise, dan dari situ dapatkan estimasi bersih x0 (pelajaran terakhir).
- Clip x0 ke rentang data asli yang mungkin (di sini -3 sampai 3).
- Pindah ke rata-rata tepat dari posisi x_(t-1), jika diketahui x_t dan x0:
mean = (sqrt(abar_(t-1)) beta_t / (1 - abar_t)) x0 + (sqrt(1 - beta_t) (1 - abar_(t-1)) / (1 - abar_t)) x_t - Tambahkan noise baru dari spread
sqrt(beta_t (1 - abar_(t-1)) / (1 - abar_t)), kecuali di langkah terakhir. (abar_(-1) dihitung sebagai 1.)
Kenapa pakai clip? Kursusnya belajar dari pengalaman sulit. Di beberapa langkah terakhir schedule cosine, beta mencapai 0.999, jadi langkah biasa mengalikan setiap error pada predicted noise sekitar 30 kali. Tanpa clip, model digit kursusnya menggambar gambar yang lebih mirip piksel acak daripada angka (kedekatan 4.68). Dengan clip, 1.09.
Kata dan simbol di pelajaran ini
- jadwal noise (beta)
- berapa banyak noise baru yang dicampur di setiap langkah
- abar
- bagian sinyal asli yang tersisa setelah beberapa langkah (akar kuadratnya dikalikan dengan x0)
- x0, x_t
- data bersih, dan data yang sama setelah t langkah noise
- eps
- noise bell-curve yang ditambahkan; jaringan belajar untuk memprediksinya
- DDPM
- sampling dengan mundur ke setiap langkah, dengan noise baru setiap saat Bentuk
- , cakupan
- hakim 2D: bagian sampel yang dekat dengan bentuk asli, dan bagian bentuk yang memiliki sampel di dekatnya
Tulis step_back(x, eps_pred, t, beta, abar, rng) persis seperti empat langkah di atas (clip x0 ke -3 sampai 3, rata-ratanya, lalu noise kecuali pada t = 0) dan loop sampling generate(model, n, rng) yang dimulai dari noise N(0, 1) pada langkah 99 dan mundur ke 0. Lulus dengan sampel minimal 0.8 pada spiral dan 0.95 coverage.
Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini
Latihan ini akan segera dibuka
Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.
Browser ini memblokir cookie untuk learn.floati.life, jadi pelajaran yang sudah kamu selesaikan di sini tidak bisa dibuka berurutan. Izinkan cookie untuk situs ini dan muat ulang.