Müfredat 246 dersinden 172. · Modül 15: Sıkıştır, yeniden kur, üret (otokodlayıcılar ve VAE'ler)
Modül 15: Sıkıştır, yeniden kur, üret (otokodlayıcılar ve VAE'ler)

İçinden eğitebileceğin örnekleme

Neden önemli Kod N(mu, spread)'den rastgele bir çekiliştir. Geri yayılım kayıptan mu ve logvar'a geri bir eğime ihtiyaç duyar, ve "rastgele bir sayının" eğimi yoktur. Tek bir yeniden yazım bunu düzeltir, ve VAE'lerin çok ötesinde kullanılır.

Önce rastgeleliği sabit bir çan eğrisinden çek: N(0, 1)'den eps. Sonra kodu ondan kur:

code = mu + exp(logvar / 2) * eps

Kod, N(mu, spread)'den bir çekilişle tam olarak aynı değer yayılımına sahiptir, ama artık eps düz bir girdi olmak üzere mu ve logvar üzerinde sıradan aritmetiktir. Eğimler basittir: d code / d mu = 1, ve d code / d logvar = 0.5 exp(logvar / 2) eps. Bu yeniden parametreleme hilesidir.

Küçük sayılar

mu = 1, logvar = 0, eps = 0.5: code = 1 + 1 × 0.5 = 1.5. mu'ya eğim: 1. logvar'a eğim: 0.5 × 1 × 0.5 = 0.25.

Bunun için yeni bir işleme ihtiyacın var, exp. Kurs motorunda zaten bir tane var (E.exp); burada Modül 4 yoluyla kendininkini kuruyorsun: ileri değer, ve gelen gradyanı yerel eğimle çarpan bir geri kural (exp için eğim exp'in kendisidir).

Ev motorunda bir işlem, out.back = lambda g: parent._acc(g * local_slope) kuralına sahip bir out = E.T(value, (parent,)) tensörüdür: back, out'a gelen gradyanı alır, ve _acc ebeveyne bir gradyan ekler. E.GUIDE motorun parçalarını yazdırır.

Bu dersteki kelimeler ve semboller
kod (gizil)
kodlayıcının bir resimden yaptığı birkaç sayı
VAE
varyasyonel otokodlayıcı: kodları N(0, 1)'i doldurmak için çekilen bir otokodlayıcı, böylece rastgele kodlar yeni resimlere çözülür
mu, logvar
bir VAE'de bir kod sayısının merkezi ve kare yayılımının logaritması
yeniden parametreleme
code = mu + exp(logvar / 2) × eps, eps önce çekilir, böylece gradyanlar mu ve logvar'a ulaşır
Senin sıran

exp_op(a)'yı bir motor işlemi olarak yaz (ebeveynleri ve bir back kuralı olan bir E.T döndür). reparam(mu, logvar, eps)'i exp_op, E.scale, E.mul ve E.add ile yaz. Sonra iki gradyanı da itmeye karşı kontrol et ve max_gap'i bulduğun en büyük farka ayarla.

Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor

Bu alıştırma yakında açılacak

Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.