Seberapa jauh kode dari pusat: KL antara dua kurva lonceng
Kenapa ini penting Pull 2 butuh angka untuk meminimalkan: seberapa jauh cloud N(mu, spread) dari setiap kode dari target N(0, 1). Angka itu adalah KL divergence yang kamu pelajari di Module 2, sekarang untuk kurva lonceng.
Modul 2 memberikan rumus tepat untuk dua kurva lonceng: KL antara N(m1, s1) dan N(m2, s2) adalah
log(s2 / s1) + (s1² + (m1 - m2)²) / (2 s2²) - 1/2.
Dengan target N(0, 1) (m2 = 0, s2 = 1) dan spread yang ditulis sebagai logvar = log(s1²), ini menjadi 0.5 (mu² + exp(logvar) - 1 - logvar) per nomor kode. Jumlahkan semuanya berdasarkan nomor kode.
Angka kecil
mu = 0, logvar = 0 (spread 1): 0.5 (0 + 1 - 1 - 0) = 0, kodenya sudah sesuai target. mu = 2, logvar = 0: 0.5 (4 + 1 - 1 - 0) = 2. mu = 0, logvar = -2: 0.5 (0 + 0.135 - 1 + 2) = 0.568, jadi kode yang terlalu yakin juga membayar.
Cek tanpa rumus
KL adalah rata-rata: nilai rata-rata dari log p(x) - log q(x) untuk x yang diambil dari p. Mengambil banyak x dan merata-ratakannya memberikan angka yang sama, sedikit berisik. Dua metode yang setuju adalah cara kamu tahu kodenya benar.
Kata dan simbol di pelajaran ini
- kode (latent)
- beberapa angka yang dibuat encoder dari satu gambar
- mu, logvar
- pusat dan log dari kuadrat penyebaran sebuah kode angka dalam sebuah VAE
Tulis kl_normal(m1, s1, m2, s2) dari rumus, kl_to_standard(mu, logvar) (NumPy arrays dengan shape (N, z), mengembalikan jumlah dari kode yang dirata-rata di atas N baris), dan kl_by_sampling(m1, s1, m2, s2, n) yang merata-ratakan log p(x) - log q(x) dari n pengambilan dari p.
Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini
Latihan ini akan segera dibuka
Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.
Browser ini memblokir cookie untuk learn.floati.life, jadi pelajaran yang sudah kamu selesaikan di sini tidak bisa dibuka berurutan. Izinkan cookie untuk situs ini dan muat ulang.