Menambahkan noise, langkah demi langkah
Kenapa ini penting Generator gambar di balik karya seni AI saat ini bekerja mundur dari noise. Untuk belajar menghapus noise, sebuah network perlu melihat dengan tepat bagaimana noise ditambahkan. Bagian maju itu adalah aritmatika murni, dan ia punya jalan pintas yang membuat pelatihan menjadi mungkin.
Ambil titik bersih x0 (nilai piksel, atau titik dalam 2D). Di setiap T = 100 langkah, perkecil sedikit dan tambahkan sedikit noise baru:
x_t = sqrt(1 - beta_t) x_(t-1) + sqrt(beta_t) eps, dengan eps diambil dari N(0, 1)
Daftar beta_0 ... beta_99 adalah noise schedule. Perhatikan adegannya: spiral titik-titik melarut menjadi awan noise bulat.
Jalan pintas
Mengecilkan dan menambah noise bell-curve berulang kali sama saja dengan melakukannya sekali dengan totalnya. Tulis abar_t untuk hasil kali semua faktor (1 - beta) sampai langkah t. Lalu
x_t = sqrt(abar_t) x0 + sqrt(1 - abar_t) eps
Sekaligus: sinyal yang tersisa adalah sqrt(abar_t), penyebaran noise adalah sqrt(1 - abar_t). Training bisa langsung lompat ke langkah mana pun, bukan berjalan ke sana.
Angka kecil
Dua langkah dengan beta = 0.1 masing-masing: abar = 0.9 x 0.9 = 0.81. Dari x0 = 1 sinyal yang tersisa adalah sqrt(0.81) = 0.9 dan penyebaran noise adalah sqrt(0.19) = 0.44. Berjalan: setelah langkah 1, 0.949 x 1 ditambah noise dengan penyebaran 0.316; setelah langkah 2, semuanya menyusut lagi sebesar 0.949 dan noise baru dengan penyebaran 0.316 bergabung. Penyebaran dijumlahkan sebagai kuadrat: 0.949^2 x 0.1 + 0.1 = 0.19. Jawaban yang sama.
Kata dan simbol di pelajaran ini
- jadwal noise (beta)
- berapa banyak noise baru yang dicampur di setiap langkah
- abar
- bagian dari sinyal asli yang tersisa setelah beberapa langkah (akar kuadratnya dikalikan dengan x0)
- x0, x_t
- data bersih, dan data yang sama setelah t langkah noise
- eps
- noise bell-curve yang ditambahkan; jaringan belajar untuk memprediksinya
Tulis walk(x0, t, beta, rng) (satu langkah demi satu langkah, t + 1 langkah dari langkah 0 ke langkah t) dan jump(x0, t, abar, eps) (jalan pintas). Lalu buat noise 20000 salinan titik (1.0, -0.5) ke langkah 40 kedua arah dan isi stats dengan mean dan spread setiap versi (per koordinat) di samping apa yang seharusnya ada menurut jadwal.
Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini
Latihan ini akan segera dibuka
Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.
Browser ini memblokir cookie untuk learn.floati.life, jadi pelajaran yang sudah kamu selesaikan di sini tidak bisa dibuka berurutan. Izinkan cookie untuk situs ini dan muat ulang.