पाठ्यक्रम 246 में से पाठ 179 · Module 16: एक खेल में दो networks (GANs, वैकल्पिक)
Module 16: एक खेल में दो networks (GANs, वैकल्पिक)

तरकीबें जो कभी-कभी मदद करती हैं

यह क्यों मायने रखता है GAN papers और blog posts दर्जनों तरकीबें सूचीबद्ध करते हैं। ज़्यादातर एक setup पर दिखाई गईं, अक्सर एक seed के साथ। यहाँ आप उनमें से चार को उसी collapse पर, 8 दर्ज seeds पर परखते हैं, और रिपोर्ट करते हैं कि आपने क्या मापा, यह नहीं कि क्या पढ़ा।

चार तरकीबें, हर एक 8 शोर संख्याओं वाले ढहते GAN पर लागू:

  • Label smoothing: D को बताया जाता है कि असली नमूने 0.8 असली हैं, 1 नहीं, इसलिए वह कभी बहुत पक्का नहीं होता।
  • Instance noise: D के देखे हर बिंदु में थोड़ा शोर जोड़ा जाता है, training में 0 तक सिकुड़ता, इसलिए असली और नक़ली जल्दी overlap करते हैं।
  • Spectral norm: हर D weight matrix को उसके सबसे बड़े खिंचाव से भाग दिया जाता है, इसलिए D छोटे बदलावों पर बहुत तेज़ प्रतिक्रिया नहीं दे सकता।
  • Learning-rate संतुलन: G D से धीमा (g_lr 2.5e-4) या तेज़ (g_lr 3e-3)।

Module 9 की भावना इस्तेमाल करें: एक अंतर तभी गिना जाता है जब वह seeds के बीच के शोर से साफ़ बड़ा हो। हर तरकीब की सादे run से seed दर seed तुलना करें (वही seed, paired):

  • helped: औसत blobs कम से कम 1 ऊँचा और 8 में से कम से कम 6 seeds पर ज़्यादा blobs;
  • hurt: औसत blobs कम से कम 1 नीचा और कम से कम 6 seeds पर कम, या औसत quality कम से कम 0.25 नीचा और कम से कम 6 seeds पर नीचा (एक generator जो अपने blobs रखे पर अपने बिंदु बिखेरे उसकी मदद नहीं हुई);
  • नहीं तो no clear change।
इस पाठ के शब्द और चिह्न
GAN
generative adversarial network: एक generator और एक discriminator जो एक-दूसरे के ख़िलाफ़ train होते हैं
generator (G)
वह network जो शोर को एक नमूने में बदलता है
ढके blobs, quality
ring परखने वाला: 2% से ज़्यादा बिंदुओं वाले blobs, और एक blob पर बिंदुओं का हिस्सा
label smoothing
D को 1 के बजाय 0.8 के असली labels पर train करना
instance noise
D के देखे हर चीज़ में जोड़ा शोर, training में 0 तक सिकुड़ता
spectral norm
हर D weight matrix को उसके सबसे बड़े खिंचाव से भाग देना
आपकी बारी

दर्ज runs से "helped", "hurt" या "no clear change" लौटाने वाला verdict(trick) लिखें। फिर पाँचों तरकीब runs में से हर एक के लिए अपने फ़ैसले से report भरें।

इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें

यह अभ्यास जल्द खुलेगा

इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।