एक खेल में दो networks
यह क्यों मायने रखता है एक VAE तस्वीरें फिर बनाना सीखता है और उसकी क़ीमत धुंधलेपन से चुकाता है। एक GAN (generative adversarial network) कभी कुछ फिर नहीं बनाता। एक network तस्वीरें बनाता है, एक दूसरा उन्हें परखता है, और हर एक दूसरे के ख़िलाफ़ train होता है। यह उन पहले बने चेहरों के पीछे का विचार है जिन्होंने लोगों को धोखा दिया।
दो खिलाड़ी:
- generator G बेतरतीब शोर z को एक नमूने, G(z), में बदलता है।
- discriminator D एक नमूना देखकर एक अंक (एक logit) देता है। sigmoid(score) उसका विश्वास है कि नमूना असली है।
D किसी भी classifier की तरह train होता है: असली नमूने 1 label, बने वाले 0 label, binary cross-entropy। G D को धोखा देने के लिए train होता है। G का loss लिखने के दो तरीके हैं, और अंतर तय करता है कि training शुरू होती भी है या नहीं:
- Saturating (मूल paper का खेल): G log(1 - D(G(z))) को न्यूनतम करता है।
- Non-saturating: G -log D(G(z)) को न्यूनतम करता है। वही लक्ष्य, "D से असली कहलवाओ"।
छोटी संख्याएँ: ढलानें
एक नक़ली पर D के अंक के लिए f लिखें, ताकि D(G(z)) = sigmoid(f)। f के सापेक्ष हर loss की ढलान है:
saturating: -sigmoid(f) non-saturating: sigmoid(f) - 1
training में जल्दी D आसानी से नक़ली पकड़ता है: D(G(z)) = 0.001। saturating ढलान तब -0.001 है, सीखने को लगभग कुछ नहीं। non-saturating ढलान -0.999 है, एक पूरा धक्का। यह सिद्धांत है। कोर्स ने मापा कि यह कब मायने रखता है: स्वस्थ ring पर दोनों losses train होते हैं (सारे 8 दर्ज seeds); एक setting में जहाँ D जीतता है, saturating loss कुछ नहीं सीखता।
यहाँ सारे losses log-sum-exp तरकीबें इस्तेमाल करते हैं ताकि कोई logarithm कभी 0 न देखे: log(sigmoid(f)) = -softplus(-f) और log(1 - sigmoid(f)) = -softplus(f), softplus(a) = log(1 + e^a) के साथ, np.logaddexp(0, a) के रूप में निकाला।
इस पाठ के शब्द और चिह्न
- GAN
- generative adversarial network: एक generator और एक discriminator जो एक-दूसरे के ख़िलाफ़ train होते हैं
- generator (G)
- वह network जो शोर को एक नमूने में बदलता है
- discriminator (D)
- वह network जो एक नमूने को असली या बना अंक देता है
- saturating loss
- G log(1 - D(G(z))) न्यूनतम करता है; D के पक्का होते ही इसकी ढलान लगभग 0 है, इसलिए G सीखना बंद करता है
तीनों losses को अंकों के एक batch पर औसत के रूप में लिखें: d_loss(real_scores, fake_scores), g_loss_saturating(fake_scores) और g_loss_nonsat(fake_scores)। फिर slopes भरें: 0.001, 0.1 और 0.5 में हर D(G(z)) के लिए, नक़ली के अंक के सापेक्ष हर generator loss की ढलान (एक नमूने के लिए)।
इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें
यह अभ्यास जल्द खुलेगा
इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।
यह ब्राउज़र learn.floati.life के लिए कुकी रोक रहा है, इसलिए यहाँ पूरे किए गए पाठ क्रम से नहीं खुल सकते। इस साइट के लिए कुकी की अनुमति दें और फिर से लोड करें।