Trik yang terkadang membantu
Kenapa ini penting Makalah GAN dan postingan blog mencantumkan puluhan trik. Kebanyakan ditunjukkan pada satu pengaturan, seringkali dengan satu seed. Di sini kamu menguji empat di antaranya pada collapse yang sama, di atas 8 seed yang dicatat, dan melaporkan apa yang kamu ukur, bukan apa yang kamu baca.
Empat trik, masing-masing diterapkan pada collapsing GAN dengan 8 angka noise:
- Label smoothing: D diberitahu bahwa sampel asli adalah 0.8 asli, bukan 1, jadi ia tidak akan pernah terlalu yakin.
- Noise instance: sedikit noise ditambahkan ke setiap titik yang dilihat D, mengecil ke 0 selama pelatihan, jadi data asli dan palsu tumpang tindih di awal.
- Spectral norm: setiap matriks bobot D dibagi dengan regangan terbesarnya, jadi D tidak bisa bereaksi terlalu tajam terhadap perubahan kecil.
- Keseimbangan learning-rate: G lebih lambat dari D (g_lr 2.5e-4) atau lebih cepat (g_lr 3e-3).
Gunakan semangat Modul 9: perbedaan hanya dihitung jika itu jelas lebih besar daripada gangguan antar seed. Bandingkan setiap trik dengan run biasa seed demi seed (seed yang sama, berpasangan):
- helped: setidaknya 1 blob lebih besar DAN lebih banyak blob pada setidaknya 6 dari 8 seed;
- hurt: rata-rata blobs setidaknya 1 lebih rendah dan lebih sedikit pada setidaknya 6 seeds, ATAU rata-rata kualitas setidaknya 0.25 lebih rendah dan lebih rendah pada setidaknya 6 seeds (generator yang tetap mempertahankan blobs tapi menyebarkan poinnya tidak terbantu);
- kalau tidak tidak ada perubahan jelas.
Kata dan simbol di pelajaran ini
- GAN
- generative adversarial network: sebuah generator dan discriminator yang dilatih saling berlawanan
- generator (G)
- jaringan yang mengubah noise menjadi sampel
- blobs sudah dicakup, kualitas
- hakim cincin: blobs dengan lebih dari 2% poin, dan bagian poin pada sebuah blob
- pelulusan label
- training D pada label asli 0.8 alih-alih 1
- noise instance
- noise ditambahkan ke semua yang dilihat D, mengecil ke 0 selama training
- norm spektral
- membagi setiap matriks bobot D dengan rentangan terbesarnya
Tulis verdict(trick) yang mengembalikan "helped", "hurt" atau "no clear change" dari hasil rekaman. Lalu isi report dengan keputusanmu untuk setiap dari lima jalannya trik.
Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini
Latihan ini akan segera dibuka
Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.
Browser ini memblokir cookie untuk learn.floati.life, jadi pelajaran yang sudah kamu selesaikan di sini tidak bisa dibuka berurutan. Izinkan cookie untuk situs ini dan muat ulang.