Dua jaringan dalam sebuah game
Kenapa ini penting Sebuah VAE belajar membangun ulang gambar dan membayarnya dengan efek buram. Sebuah GAN (generative adversarial network) tidak pernah membangun ulang apa pun. Satu jaringan membuat gambar, jaringan kedua menilainya, dan masing-masing melatih yang lain. Ini adalah ide di balik wajah buatan pertama yang menipu orang.
Kedua pemain:
- Generator generator G mengubah noise acak z menjadi sampel, G(z).
- discriminator D melihat sebuah sampel dan memberikan skor (logit). sigmoid(score) adalah keyakinannya bahwa sampel tersebut asli.
melatih seperti pengklasifikasi apa pun: sampel asli dilabeli 1, yang dihasilkan dilabeli 0, binary cross-entropy. G melatih untuk menipu D. Ada dua cara untuk menulis loss G, dan perbedaannya menentukan apakah pelatihan dimulai atau tidak:
- Saturating (game pada makalah asli): G meminimalkan log(1 - D(G(z))).
- Non-saturating: G meminimalkan -log D(G(z)). Tujuan yang sama, "buat D bilang asli".
Angka kecil: kemiringan
Tulis f untuk skor D pada fake, jadi D(G(z)) = sigmoid(f). Kemiringan setiap loss terhadap f adalah:
saturating: -sigmoid(f) non-saturating: sigmoid(f) - 1
Di awal pelatihan D mudah mengenali palsu: D(G(z)) = 0.001. Kemiringan saturasi adalah -0.001, hampir tidak ada yang bisa dipelajari. Kemiringan non-saturasi adalah -0.999, dorongan penuh. Itulah teorinya. Kursus ini mengukur saat hal itu penting: pada ring yang sehat kedua loss dilatih (semua 8 seed yang dicatat); dalam pengaturan di mana D menang, saturating loss tidak mempelajari apa pun.
Semua kerugian di sini menggunakan trik log-sum-exp jadi tidak ada logaritma yang melihat 0: log(sigmoid(f)) = -softplus(-f) dan log(1 - sigmoid(f)) = -softplus(f), dengan softplus(a) = log(1 + e^a), dihitung sebagai np.logaddexp(0, a).
Kata dan simbol di pelajaran ini
- GAN
- generative adversarial network: sebuah generator dan discriminator yang dilatih saling berlawanan
- generator (G)
- jaringan yang mengubah noise menjadi sampel
- diskriminator (D)
- jaringan yang menilai sampel sebagai asli atau buatan
- saturating loss
- G meminimalkan log(1 - D(G(z))); kemiringannya sekitar 0 setelah D sudah pasti, jadi G berhenti belajar
Tulis ketiga loss sebagai rata-rata dari batch skor: d_loss(real_scores, fake_scores), g_loss_saturating(fake_scores) dan g_loss_nonsat(fake_scores). Lalu isi slopes: untuk setiap D(G(z)) dalam 0.001, 0.1 dan 0.5, kemiringan dari setiap generator loss terhadap skor fake (untuk satu sampel).
Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini
Latihan ini akan segera dibuka
Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.
Browser ini memblokir cookie untuk learn.floati.life, jadi pelajaran yang sudah kamu selesaikan di sini tidak bisa dibuka berurutan. Izinkan cookie untuk situs ini dan muat ulang.