Silabus Pelajaran 179 dari 246 · Modul 16: Dua jaringan dalam sebuah game (GANs, opsional)
Modul 16: Dua jaringan dalam sebuah game (GANs, opsional)

Trik yang terkadang membantu

Kenapa ini penting Makalah GAN dan postingan blog mencantumkan puluhan trik. Kebanyakan ditunjukkan pada satu pengaturan, seringkali dengan satu seed. Di sini kamu menguji empat di antaranya pada collapse yang sama, di atas 8 seed yang dicatat, dan melaporkan apa yang kamu ukur, bukan apa yang kamu baca.

Empat trik, masing-masing diterapkan pada collapsing GAN dengan 8 angka noise:

  • Label smoothing: D diberitahu bahwa sampel asli adalah 0.8 asli, bukan 1, jadi ia tidak akan pernah terlalu yakin.
  • Noise instance: sedikit noise ditambahkan ke setiap titik yang dilihat D, mengecil ke 0 selama pelatihan, jadi data asli dan palsu tumpang tindih di awal.
  • Spectral norm: setiap matriks bobot D dibagi dengan regangan terbesarnya, jadi D tidak bisa bereaksi terlalu tajam terhadap perubahan kecil.
  • Keseimbangan learning-rate: G lebih lambat dari D (g_lr 2.5e-4) atau lebih cepat (g_lr 3e-3).

Gunakan semangat Modul 9: perbedaan hanya dihitung jika itu jelas lebih besar daripada gangguan antar seed. Bandingkan setiap trik dengan run biasa seed demi seed (seed yang sama, berpasangan):

  • helped: setidaknya 1 blob lebih besar DAN lebih banyak blob pada setidaknya 6 dari 8 seed;
  • hurt: rata-rata blobs setidaknya 1 lebih rendah dan lebih sedikit pada setidaknya 6 seeds, ATAU rata-rata kualitas setidaknya 0.25 lebih rendah dan lebih rendah pada setidaknya 6 seeds (generator yang tetap mempertahankan blobs tapi menyebarkan poinnya tidak terbantu);
  • kalau tidak tidak ada perubahan jelas.
Kata dan simbol di pelajaran ini
GAN
generative adversarial network: sebuah generator dan discriminator yang dilatih saling berlawanan
generator (G)
jaringan yang mengubah noise menjadi sampel
blobs sudah dicakup, kualitas
hakim cincin: blobs dengan lebih dari 2% poin, dan bagian poin pada sebuah blob
pelulusan label
training D pada label asli 0.8 alih-alih 1
noise instance
noise ditambahkan ke semua yang dilihat D, mengecil ke 0 selama training
norm spektral
membagi setiap matriks bobot D dengan rentangan terbesarnya
Giliranku

Tulis verdict(trick) yang mengembalikan "helped", "hurt" atau "no clear change" dari hasil rekaman. Lalu isi report dengan keputusanmu untuk setiap dari lima jalannya trik.

Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini

Latihan ini akan segera dibuka

Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.