VAE kaybı, adım adım (ELBO)
Neden önemli "İyi yeniden kur artı merkeze yakın kal" birbirine yapıştırılmış iki hedef gibi duruyor. Tek bir hedeftir: gerçek rakamları model altında olabildiğince olası yapmak. Nedenini görmek kayıp sayısının ne anlama geldiğini söyler.
Bir VAE bir rakamın nasıl yapıldığının hikâyesidir: N(0, 1)'den bir z kodu çek, sonra her pikseli kod çözücünün verdiği olasılıkla çek. En iyi model gerçek rakamlara en yüksek olasılığı, log p(x)'i verir. log p(x)'i tam olarak hesaplamak olası her z üzerinden bir ortalama gerektirir, ki bu erişilemez.
Hile, hesaplayabileceğin bir alt sınırdır, ELBO (kanıt alt sınırı):
log p(x) ≥ E[log p(x | z)] - KL(q(z | x) || N(0, 1))
Burada q(z | x) = N(mu, spread), kodlayıcının hangi kodların x'i yapmış olabileceği tahminidir, ve E[...] ondan çekilen kodlar üzerinden ortalama alır. Birinci terim yeniden kurma puanıdır. İkinci terim çekiş 2'dir. log p(x) ile ELBO arasındaki fark tam olarak kodlayıcının tahmininin ne kadar yanlış olduğudur (gerçek sonsala bir KL), bu yüzden ELBO'yu yukarı itmek log p(x)'i yükseltir, ya da farkı kapatır (tahmini iyileştirir), ya da ikisini birden: ELBO tek başına hangisi olduğunu söyleyemez.
Eğitim -ELBO'yu küçültür, bu da yeniden kurma kaybı + KL'dir: gen.train_vae'deki kaybın ta kendisi.
Küçük bir örnekte boşlukları doldur
4 piksellik bir resim x = [1, 0, 1, 1]. Kodlayıcı mu = [0.5, -1.0] ve logvar = [0.0, -1.0] veriyor. Kodun bir çekilişi p = [0.9, 0.2, 0.7, 0.6] kod çözücü olasılıklarını veriyor (her pikselin mürekkep şansı).
Bu dersteki kelimeler ve semboller
- kod (gizil)
- kodlayıcının bir resimden yaptığı birkaç sayı
- VAE
- varyasyonel otokodlayıcı: kodları N(0, 1)'i doldurmak için çekilen bir otokodlayıcı, böylece rastgele kodlar yeni resimlere çözülür
- mu, logvar
- bir VAE'de bir kod sayısının merkezi ve kare yayılımının logaritması
- ELBO
- kanıt alt sınırı: yeniden kurma puanı eksi KL; bir VAE'yi eğitmek onu yukarı iter
Her adımı doldur: log_p_x_given_z (pikseller üzerinden x log p + (1 - x) log(1 - p) toplamı), kl (N(0, 1)'e, iki kod sayısı üzerinden toplanmış), elbo ve loss (eğitimin küçülttüğü şey). Sonra gap_means'i log p(x) ile ELBO arasındaki farkın neyi ölçtüğünü söyleyen harfe ayarla.
Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor
Bu alıştırma yakında açılacak
Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.
Bu tarayıcı learn.floati.life için çerezleri engelliyor, bu yüzden burada bitirdiğin dersler sırasıyla açılamıyor. Bu site için çerezlere izin ver ve sayfayı yenile.