Bir kod merkezden ne kadar uzak: iki çan eğrisi arasındaki KL
Neden önemli Çekiş 2'nin küçültülecek bir sayıya ihtiyacı var: her kodun N(mu, spread) bulutunun hedef N(0, 1)'den ne kadar uzak olduğu. Bu sayı Modül 2'de karşılaştığın KL ıraksamasıdır, şimdi çan eğrileri için.
Modül 2 iki çan eğrisi için tam formülü verdi: N(m1, s1) ile N(m2, s2) arasındaki KL şudur
log(s2 / s1) + (s1² + (m1 - m2)²) / (2 s2²) - 1/2.
Hedef N(0, 1) (m2 = 0, s2 = 1) ve yayılım logvar = log(s1²) olarak yazıldığında, kod sayısı başına 0.5 (mu² + exp(logvar) - 1 - logvar) olur. Onu kodun sayıları üzerinden topla.
Küçük sayılar
mu = 0, logvar = 0 (yayılım 1): 0.5 (0 + 1 - 1 - 0) = 0, kod zaten hedefle eşleşiyor. mu = 2, logvar = 0: 0.5 (4 + 1 - 1 - 0) = 2. mu = 0, logvar = -2: 0.5 (0 + 0.135 - 1 + 2) = 0.568, yani kendinden fazla emin bir kod da bedel öder.
Formülsüz kontrol et
KL bir ortalamadır: p'den çekilen x için log p(x) - log q(x)'in ortalaması. Çok sayıda x çekip ortalamasını almak aynı sayıyı verir, biraz gürültülü. İki yöntemin uyuşması kodun doğru olduğunu bilmenin yoludur.
Bu dersteki kelimeler ve semboller
- kod (gizil)
- kodlayıcının bir resimden yaptığı birkaç sayı
- mu, logvar
- bir VAE'de bir kod sayısının merkezi ve kare yayılımının logaritması
Formülden kl_normal(m1, s1, m2, s2), kl_to_standard(mu, logvar) ((N, z) şeklinde NumPy dizileri, kod sayıları üzerindeki toplamın N satır üzerinden ortalamasını döndüren) ve p'den n çekiliş üzerinden log p(x) - log q(x)'in ortalamasını alan kl_by_sampling(m1, s1, m2, s2, n) yaz.
Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor
Bu alıştırma yakında açılacak
Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.
Bu tarayıcı learn.floati.life için çerezleri engelliyor, bu yüzden burada bitirdiğin dersler sırasıyla açılamıyor. Bu site için çerezlere izin ver ve sayfayı yenile.