Müfredat 246 dersinden 170. · Modül 15: Sıkıştır, yeniden kur, üret (otokodlayıcılar ve VAE'ler)
Modül 15: Sıkıştır, yeniden kur, üret (otokodlayıcılar ve VAE'ler)

Bir kod merkezden ne kadar uzak: iki çan eğrisi arasındaki KL

Neden önemli Çekiş 2'nin küçültülecek bir sayıya ihtiyacı var: her kodun N(mu, spread) bulutunun hedef N(0, 1)'den ne kadar uzak olduğu. Bu sayı Modül 2'de karşılaştığın KL ıraksamasıdır, şimdi çan eğrileri için.

Modül 2 iki çan eğrisi için tam formülü verdi: N(m1, s1) ile N(m2, s2) arasındaki KL şudur

log(s2 / s1) + (s1² + (m1 - m2)²) / (2 s2²) - 1/2.

Hedef N(0, 1) (m2 = 0, s2 = 1) ve yayılım logvar = log(s1²) olarak yazıldığında, kod sayısı başına 0.5 (mu² + exp(logvar) - 1 - logvar) olur. Onu kodun sayıları üzerinden topla.

Küçük sayılar

mu = 0, logvar = 0 (yayılım 1): 0.5 (0 + 1 - 1 - 0) = 0, kod zaten hedefle eşleşiyor. mu = 2, logvar = 0: 0.5 (4 + 1 - 1 - 0) = 2. mu = 0, logvar = -2: 0.5 (0 + 0.135 - 1 + 2) = 0.568, yani kendinden fazla emin bir kod da bedel öder.

Formülsüz kontrol et

KL bir ortalamadır: p'den çekilen x için log p(x) - log q(x)'in ortalaması. Çok sayıda x çekip ortalamasını almak aynı sayıyı verir, biraz gürültülü. İki yöntemin uyuşması kodun doğru olduğunu bilmenin yoludur.

Bu dersteki kelimeler ve semboller
kod (gizil)
kodlayıcının bir resimden yaptığı birkaç sayı
mu, logvar
bir VAE'de bir kod sayısının merkezi ve kare yayılımının logaritması
Senin sıran

Formülden kl_normal(m1, s1, m2, s2), kl_to_standard(mu, logvar) ((N, z) şeklinde NumPy dizileri, kod sayıları üzerindeki toplamın N satır üzerinden ortalamasını döndüren) ve p'den n çekiliş üzerinden log p(x) - log q(x)'in ortalamasını alan kl_by_sampling(m1, s1, m2, s2, n) yaz.

Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor

Bu alıştırma yakında açılacak

Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.