İçinden eğitebileceğin örnekleme
Neden önemli Kod N(mu, spread)'den rastgele bir çekiliştir. Geri yayılım kayıptan mu ve logvar'a geri bir eğime ihtiyaç duyar, ve "rastgele bir sayının" eğimi yoktur. Tek bir yeniden yazım bunu düzeltir, ve VAE'lerin çok ötesinde kullanılır.
Önce rastgeleliği sabit bir çan eğrisinden çek: N(0, 1)'den eps. Sonra kodu ondan kur:
code = mu + exp(logvar / 2) * eps
Kod, N(mu, spread)'den bir çekilişle tam olarak aynı değer yayılımına sahiptir, ama artık eps düz bir girdi olmak üzere mu ve logvar üzerinde sıradan aritmetiktir. Eğimler basittir: d code / d mu = 1, ve d code / d logvar = 0.5 exp(logvar / 2) eps. Bu yeniden parametreleme hilesidir.
Küçük sayılar
mu = 1, logvar = 0, eps = 0.5: code = 1 + 1 × 0.5 = 1.5. mu'ya eğim: 1. logvar'a eğim: 0.5 × 1 × 0.5 = 0.25.
Bunun için yeni bir işleme ihtiyacın var, exp. Kurs motorunda zaten bir tane var (E.exp); burada Modül 4 yoluyla kendininkini kuruyorsun: ileri değer, ve gelen gradyanı yerel eğimle çarpan bir geri kural (exp için eğim exp'in kendisidir).
Ev motorunda bir işlem, out.back = lambda g: parent._acc(g * local_slope) kuralına sahip bir out = E.T(value, (parent,)) tensörüdür: back, out'a gelen gradyanı alır, ve _acc ebeveyne bir gradyan ekler. E.GUIDE motorun parçalarını yazdırır.
Bu dersteki kelimeler ve semboller
- kod (gizil)
- kodlayıcının bir resimden yaptığı birkaç sayı
- VAE
- varyasyonel otokodlayıcı: kodları N(0, 1)'i doldurmak için çekilen bir otokodlayıcı, böylece rastgele kodlar yeni resimlere çözülür
- mu, logvar
- bir VAE'de bir kod sayısının merkezi ve kare yayılımının logaritması
- yeniden parametreleme
- code = mu + exp(logvar / 2) × eps, eps önce çekilir, böylece gradyanlar mu ve logvar'a ulaşır
exp_op(a)'yı bir motor işlemi olarak yaz (ebeveynleri ve bir back kuralı olan bir E.T döndür). reparam(mu, logvar, eps)'i exp_op, E.scale, E.mul ve E.add ile yaz. Sonra iki gradyanı da itmeye karşı kontrol et ve max_gap'i bulduğun en büyük farka ayarla.
Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor
Bu alıştırma yakında açılacak
Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.
Bu tarayıcı learn.floati.life için çerezleri engelliyor, bu yüzden burada bitirdiğin dersler sırasıyla açılamıyor. Bu site için çerezlere izin ver ve sayfayı yenile.