Gate: VAE yang menggambar satu digit (AI mati)
Kenapa ini penting Kegagalan ini punya nama, posterior collapse, dan ini cukup umum sampai model generatif apa pun yang kamu buat nanti bisa mengalami versi tertentu darinya. Di sini kamu mendiagnosis dan memperbaikinya sendirian.
Gate: tutor AI mati. Jalankan starter dan lihat apa yang dibuat oleh VAE yang rusak. Kamu bisa melatih variasi sebanyak yang kamu mau dengan gen.train_vae(...) dan menilainya dengan gen.judge, active_units() dan rebuild error.
Ada tiga pengaturan, masing-masing punya alasan untuk dicoba:
weight: kekuatan pull 2 (KL), defaultnya 1.warmup_steps: mulai dengan weight 0 dan naikkan secara merata keweightselama langkah sebanyak ini (training adalah 600 steps).free_bits: satu lantai per nomor kode. Angka yang KL nya di bawah lantai membayar lantai dan tidak mendapat dorongan ke pusat, jadi model bisa menggunakannya.
Kamu bakal baca online kalau warming up weight itu cara standar buat benerinnya. Coba cek apakah itu berlaku di sini.
Pengecekan ini melatih ulang perbaikanmu pada seed baru dan hanya meloloskannya jika keempat hal ini terpenuhi: error rebuild test di bawah 0.035, setidaknya 3 nomor kode aktif, digit baru dengan closeness maksimal 1.33 dan variety minimal 3.0.
Kata dan simbol di pelajaran ini
- kode (latent)
- beberapa angka yang dibuat encoder dari satu gambar
- VAE
- variational autoencoder: autoencoder yang kode-kodenya ditarik untuk mengisi N(0, 1), jadi kode acak didekode menjadi gambar baru
- mu, logvar
- pusat dan log dari kuadrat penyebaran sebuah kode angka dalam sebuah VAE
- kedekatan, variasi
- hakim kursus: jarak ke digit riil terdekat, dan bit penyebaran di atas sepuluh digit
- posterior collapse
- a VAE yang semua kodenya menjadi N(0, 1) dan tidak membawa apa pun; ia menggambar satu gambar rata-rata
Atur diagnosis ke satu huruf dan fix ke dict pengaturan untuk gen.train_vae yang memperbaiki collapse.
AI mati: tidak ada tutor, petunjuk atau solusi lengkap untuk yang ini. Hanya pemikiranmu sendiri.
Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini
Latihan ini akan segera dibuka
Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.
Browser ini memblokir cookie untuk learn.floati.life, jadi pelajaran yang sudah kamu selesaikan di sini tidak bisa dibuka berurutan. Izinkan cookie untuk situs ini dan muat ulang.