Loss VAE, langkah demi langkah (ELBO)
Kenapa ini penting "Bangun dengan baik plus tetap dekat dengan pusat" terdengar seperti dua tujuan yang digabung. Itu adalah satu tujuan: buat digit asli seprobabel mungkin di bawah model. Melihat alasannya memberitahu kamu apa arti angka loss.
A VAE adalah cerita tentang bagaimana sebuah digit dibuat: gambar kode z dari N(0, 1), lalu gambar setiap piksel dengan probabilitas yang diberikan decoder. Model terbaik memberikan digit asli probabilitas tertinggi, log p(x). Menghitung log p(x) secara tepat butuh rata-rata dari setiap z yang mungkin, yang tidak terjangkau.
Triknya adalah batas bawah yang bisa kamu hitung, yaitu ELBO (evidence lower bound):
log p(x) ≥ E[log p(x | z)] - KL(q(z | x) || N(0, 1))
Di sini q(z | x) = N(mu, spread) adalah tebakan encoder tentang kode mana yang bisa menghasilkan x, dan E[...] merata-ratakan kode yang diambil darinya. Istilah pertama adalah skor rebuild. Istilah kedua adalah pull 2. Selisih antara log p(x) dan ELBO adalah seberapa salah tebakan encoder (sebuah KL ke posterior yang sebenarnya), jadi menaikkan ELBO akan menaikkan log p(x), atau memperkecil selisih (membuat tebakan lebih baik), atau keduanya: ELBO saja tidak bisa memberitahumu yang mana.
Training meminimalkan -ELBO, yang merupakan rebuild loss + KL: kerugian yang sebenarnya di gen.train_vae.
Isi bagian yang kosong pada contoh kecil
A gambar 4-piksel x = [1, 0, 1, 1]. Encoder memberikan mu = [0.5, -1.0] dan logvar = [0.0, -1.0]. Satu kali jalan kode memberikan probabilitas decoder p = [0.9, 0.2, 0.7, 0.6] (peluang tinta setiap piksel).
Kata dan simbol di pelajaran ini
- kode (latent)
- beberapa angka yang dibuat encoder dari satu gambar
- VAE
- variational autoencoder: autoencoder yang kode-kodenya ditarik untuk mengisi N(0, 1), jadi kode acak didekode menjadi gambar baru
- mu, logvar
- pusat dan log dari kuadrat penyebaran sebuah nomor kode dalam sebuah VAE
- ELBO
- batas bawah bukti: bangun ulang skor dikurangi KL; melatih VAE mendorongnya naik
Isi setiap langkah: log_p_x_given_z (jumlah atas piksel dari x log p + (1 - x) log(1 - p)), kl (ke N(0, 1), dijumlahkan atas kedua angka kode), elbo, dan loss (yang diminimalkan oleh pelatihan). Lalu atur gap_means ke huruf yang menyatakan apa yang diukur oleh selisih antara log p(x) dan ELBO.
Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini
Latihan ini akan segera dibuka
Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.
Browser ini memblokir cookie untuk learn.floati.life, jadi pelajaran yang sudah kamu selesaikan di sini tidak bisa dibuka berurutan. Izinkan cookie untuk situs ini dan muat ulang.