तरकीबें जो कभी-कभी मदद करती हैं
यह क्यों मायने रखता है GAN papers और blog posts दर्जनों तरकीबें सूचीबद्ध करते हैं। ज़्यादातर एक setup पर दिखाई गईं, अक्सर एक seed के साथ। यहाँ आप उनमें से चार को उसी collapse पर, 8 दर्ज seeds पर परखते हैं, और रिपोर्ट करते हैं कि आपने क्या मापा, यह नहीं कि क्या पढ़ा।
चार तरकीबें, हर एक 8 शोर संख्याओं वाले ढहते GAN पर लागू:
- Label smoothing: D को बताया जाता है कि असली नमूने 0.8 असली हैं, 1 नहीं, इसलिए वह कभी बहुत पक्का नहीं होता।
- Instance noise: D के देखे हर बिंदु में थोड़ा शोर जोड़ा जाता है, training में 0 तक सिकुड़ता, इसलिए असली और नक़ली जल्दी overlap करते हैं।
- Spectral norm: हर D weight matrix को उसके सबसे बड़े खिंचाव से भाग दिया जाता है, इसलिए D छोटे बदलावों पर बहुत तेज़ प्रतिक्रिया नहीं दे सकता।
- Learning-rate संतुलन: G D से धीमा (g_lr 2.5e-4) या तेज़ (g_lr 3e-3)।
Module 9 की भावना इस्तेमाल करें: एक अंतर तभी गिना जाता है जब वह seeds के बीच के शोर से साफ़ बड़ा हो। हर तरकीब की सादे run से seed दर seed तुलना करें (वही seed, paired):
- helped: औसत blobs कम से कम 1 ऊँचा और 8 में से कम से कम 6 seeds पर ज़्यादा blobs;
- hurt: औसत blobs कम से कम 1 नीचा और कम से कम 6 seeds पर कम, या औसत quality कम से कम 0.25 नीचा और कम से कम 6 seeds पर नीचा (एक generator जो अपने blobs रखे पर अपने बिंदु बिखेरे उसकी मदद नहीं हुई);
- नहीं तो no clear change।
इस पाठ के शब्द और चिह्न
- GAN
- generative adversarial network: एक generator और एक discriminator जो एक-दूसरे के ख़िलाफ़ train होते हैं
- generator (G)
- वह network जो शोर को एक नमूने में बदलता है
- ढके blobs, quality
- ring परखने वाला: 2% से ज़्यादा बिंदुओं वाले blobs, और एक blob पर बिंदुओं का हिस्सा
- label smoothing
- D को 1 के बजाय 0.8 के असली labels पर train करना
- instance noise
- D के देखे हर चीज़ में जोड़ा शोर, training में 0 तक सिकुड़ता
- spectral norm
- हर D weight matrix को उसके सबसे बड़े खिंचाव से भाग देना
दर्ज runs से "helped", "hurt" या "no clear change" लौटाने वाला verdict(trick) लिखें। फिर पाँचों तरकीब runs में से हर एक के लिए अपने फ़ैसले से report भरें।
इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें
यह अभ्यास जल्द खुलेगा
इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।
यह ब्राउज़र learn.floati.life के लिए कुकी रोक रहा है, इसलिए यहाँ पूरे किए गए पाठ क्रम से नहीं खुल सकते। इस साइट के लिए कुकी की अनुमति दें और फिर से लोड करें।