Silabus Pelajaran 175 dari 246 · Modul 15: Squeeze, rebuild, generate (autoencoders dan VAEs)
Modul 15: Squeeze, rebuild, generate (autoencoders dan VAEs)

Gate: VAE yang menggambar satu digit (AI mati)

Kenapa ini penting Kegagalan ini punya nama, posterior collapse, dan ini cukup umum sampai model generatif apa pun yang kamu buat nanti bisa mengalami versi tertentu darinya. Di sini kamu mendiagnosis dan memperbaikinya sendirian.

Aturan

Gate: tutor AI mati. Jalankan starter dan lihat apa yang dibuat oleh VAE yang rusak. Kamu bisa melatih variasi sebanyak yang kamu mau dengan gen.train_vae(...) dan menilainya dengan gen.judge, active_units() dan rebuild error.

Ada tiga pengaturan, masing-masing punya alasan untuk dicoba:

  • weight: kekuatan pull 2 (KL), defaultnya 1.
  • warmup_steps: mulai dengan weight 0 dan naikkan secara merata ke weight selama langkah sebanyak ini (training adalah 600 steps).
  • free_bits: satu lantai per nomor kode. Angka yang KL nya di bawah lantai membayar lantai dan tidak mendapat dorongan ke pusat, jadi model bisa menggunakannya.

Kamu bakal baca online kalau warming up weight itu cara standar buat benerinnya. Coba cek apakah itu berlaku di sini.

Pengecekan ini melatih ulang perbaikanmu pada seed baru dan hanya meloloskannya jika keempat hal ini terpenuhi: error rebuild test di bawah 0.035, setidaknya 3 nomor kode aktif, digit baru dengan closeness maksimal 1.33 dan variety minimal 3.0.

Kata dan simbol di pelajaran ini
kode (latent)
beberapa angka yang dibuat encoder dari satu gambar
VAE
variational autoencoder: autoencoder yang kode-kodenya ditarik untuk mengisi N(0, 1), jadi kode acak didekode menjadi gambar baru
mu, logvar
pusat dan log dari kuadrat penyebaran sebuah kode angka dalam sebuah VAE
kedekatan, variasi
hakim kursus: jarak ke digit riil terdekat, dan bit penyebaran di atas sepuluh digit
posterior collapse
a VAE yang semua kodenya menjadi N(0, 1) dan tidak membawa apa pun; ia menggambar satu gambar rata-rata
Giliranku

Atur diagnosis ke satu huruf dan fix ke dict pengaturan untuk gen.train_vae yang memperbaiki collapse.

AI mati: tidak ada tutor, petunjuk atau solusi lengkap untuk yang ini. Hanya pemikiranmu sendiri.

Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini

Latihan ini akan segera dibuka

Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.