Silabus Pelajaran 186 dari 246 · Modul 17: Masukan noise, keluaran gambar (diffusion)
Modul 17: Masukan noise, keluaran gambar (diffusion)

Jadwal noise: loss lebih rendah, sampel lebih buruk

Kenapa ini penting Loss adalah angka yang kamu perhatikan, jadi kamu mungkin tergoda untuk memilih apa pun yang membuatnya paling rendah. Di sini insting itu justru salah, dan melihat alasannya akan mengajarkanmu apa yang diukur oleh loss.

Dua jadwal untuk 100 langkah yang sama:

  • Linear (makalah DDPM asli): beta naik rata dari 0.0001 ke 0.02 x (1000 / T). Dengan hanya 100 langkah, abar turun cepat: sebagian besar langkah hampir murni noise.
  • Cosine (Nichol and Dhariwal, 2021): abar mengikuti kurva kosinus, jadi sinyal memudar secara merata di seluruh langkah.

Kursus ini melatih keduanya pada spiral, masing-masing 3 seed (difflab.recorded()).

Prediksi dulu: jadwal mana yang berakhir dengan training loss lebih rendah, dan mana yang membuat sampel yang lebih pas di spiral?

Kata dan simbol di pelajaran ini
jadwal noise (beta)
berapa banyak noise baru yang dicampur di setiap langkah
abar
bagian sinyal asli yang tersisa setelah beberapa langkah (akar kuadratnya dikalikan dengan x0)
eps
noise bell-curve yang ditambahkan; jaringan belajar untuk memprediksinya
DDPM
sampling dengan mundur melalui setiap langkah, dengan noise baru setiap saat
Bentuk
, cakupan
hakim 2D: bagian sampel yang dekat dengan bentuk asli, dan bagian bentuk dengan sampel yang dekat dengannya
Giliranku

Atur guess untuk kedua pertanyaan menjadi "linear" atau "cosine". Lalu isi table dengan rata-rata loss akhir dan rata-rata skor on-shape dari setiap jadwal selama 3 seed yang dicatat, dan noisy_share: untuk setiap jadwal, bagian dari 100 langkah di mana kurang dari 10% varians sinyal tersisa (abar di bawah 0.1; ukuran sinyal adalah sqrt(abar), sekitar 0.32 di sana). Terakhir atur shows, dua pertanyaan yang sama dijawab dari tabelmu. Tebakanmu tetap seperti yang kamu buat.

Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini

Latihan ini akan segera dibuka

Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.