Silabus Pelajaran 170 dari 246 · Modul 15: Squeeze, rebuild, generate (autoencoders dan VAEs)
Modul 15: Squeeze, rebuild, generate (autoencoders dan VAEs)

Seberapa jauh kode dari pusat: KL antara dua kurva lonceng

Kenapa ini penting Pull 2 butuh angka untuk meminimalkan: seberapa jauh cloud N(mu, spread) dari setiap kode dari target N(0, 1). Angka itu adalah KL divergence yang kamu pelajari di Module 2, sekarang untuk kurva lonceng.

Modul 2 memberikan rumus tepat untuk dua kurva lonceng: KL antara N(m1, s1) dan N(m2, s2) adalah

log(s2 / s1) + (s1² + (m1 - m2)²) / (2 s2²) - 1/2.

Dengan target N(0, 1) (m2 = 0, s2 = 1) dan spread yang ditulis sebagai logvar = log(s1²), ini menjadi 0.5 (mu² + exp(logvar) - 1 - logvar) per nomor kode. Jumlahkan semuanya berdasarkan nomor kode.

Angka kecil

mu = 0, logvar = 0 (spread 1): 0.5 (0 + 1 - 1 - 0) = 0, kodenya sudah sesuai target. mu = 2, logvar = 0: 0.5 (4 + 1 - 1 - 0) = 2. mu = 0, logvar = -2: 0.5 (0 + 0.135 - 1 + 2) = 0.568, jadi kode yang terlalu yakin juga membayar.

Cek tanpa rumus

KL adalah rata-rata: nilai rata-rata dari log p(x) - log q(x) untuk x yang diambil dari p. Mengambil banyak x dan merata-ratakannya memberikan angka yang sama, sedikit berisik. Dua metode yang setuju adalah cara kamu tahu kodenya benar.

Kata dan simbol di pelajaran ini
kode (latent)
beberapa angka yang dibuat encoder dari satu gambar
mu, logvar
pusat dan log dari kuadrat penyebaran sebuah kode angka dalam sebuah VAE
Giliranku

Tulis kl_normal(m1, s1, m2, s2) dari rumus, kl_to_standard(mu, logvar) (NumPy arrays dengan shape (N, z), mengembalikan jumlah dari kode yang dirata-rata di atas N baris), dan kl_by_sampling(m1, s1, m2, s2, n) yang merata-ratakan log p(x) - log q(x) dari n pengambilan dari p.

Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini

Latihan ini akan segera dibuka

Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.