Silabus Pelajaran 171 dari 246 · Modul 15: Squeeze, rebuild, generate (autoencoders dan VAEs)
Modul 15: Squeeze, rebuild, generate (autoencoders dan VAEs)

Loss VAE, langkah demi langkah (ELBO)

Kenapa ini penting "Bangun dengan baik plus tetap dekat dengan pusat" terdengar seperti dua tujuan yang digabung. Itu adalah satu tujuan: buat digit asli seprobabel mungkin di bawah model. Melihat alasannya memberitahu kamu apa arti angka loss.

A VAE adalah cerita tentang bagaimana sebuah digit dibuat: gambar kode z dari N(0, 1), lalu gambar setiap piksel dengan probabilitas yang diberikan decoder. Model terbaik memberikan digit asli probabilitas tertinggi, log p(x). Menghitung log p(x) secara tepat butuh rata-rata dari setiap z yang mungkin, yang tidak terjangkau.

Triknya adalah batas bawah yang bisa kamu hitung, yaitu ELBO (evidence lower bound):

log p(x) ≥ E[log p(x | z)] - KL(q(z | x) || N(0, 1))

Di sini q(z | x) = N(mu, spread) adalah tebakan encoder tentang kode mana yang bisa menghasilkan x, dan E[...] merata-ratakan kode yang diambil darinya. Istilah pertama adalah skor rebuild. Istilah kedua adalah pull 2. Selisih antara log p(x) dan ELBO adalah seberapa salah tebakan encoder (sebuah KL ke posterior yang sebenarnya), jadi menaikkan ELBO akan menaikkan log p(x), atau memperkecil selisih (membuat tebakan lebih baik), atau keduanya: ELBO saja tidak bisa memberitahumu yang mana.

Training meminimalkan -ELBO, yang merupakan rebuild loss + KL: kerugian yang sebenarnya di gen.train_vae.

Isi bagian yang kosong pada contoh kecil

A gambar 4-piksel x = [1, 0, 1, 1]. Encoder memberikan mu = [0.5, -1.0] dan logvar = [0.0, -1.0]. Satu kali jalan kode memberikan probabilitas decoder p = [0.9, 0.2, 0.7, 0.6] (peluang tinta setiap piksel).

Kata dan simbol di pelajaran ini
kode (latent)
beberapa angka yang dibuat encoder dari satu gambar
VAE
variational autoencoder: autoencoder yang kode-kodenya ditarik untuk mengisi N(0, 1), jadi kode acak didekode menjadi gambar baru
mu, logvar
pusat dan log dari kuadrat penyebaran sebuah nomor kode dalam sebuah VAE
ELBO
batas bawah bukti: bangun ulang skor dikurangi KL; melatih VAE mendorongnya naik
Giliranku

Isi setiap langkah: log_p_x_given_z (jumlah atas piksel dari x log p + (1 - x) log(1 - p)), kl (ke N(0, 1), dijumlahkan atas kedua angka kode), elbo, dan loss (yang diminimalkan oleh pelatihan). Lalu atur gap_means ke huruf yang menyatakan apa yang diukur oleh selisih antara log p(x) dan ELBO.

Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini

Latihan ini akan segera dibuka

Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.