شبكتان في لعبة
لماذا هذا مهم تتعلم VAE إعادة بناء الصور وتدفع ثمن ذلك بالضبابية. أما GAN (generative adversarial network) فلا تعيد بناء أي شيء أبدا. تقوم شبكة واحدة بإنشاء الصور، وتقوم شبكة ثانية بالحكم عليها، وتتدرب كل منهما ضد الأخرى. هذه هي الفكرة وراء أول وجوه مولدة خدعت الناس.
اللاعبان:
- يتحول الضجيج العشوائي z بواسطة generator G إلى عينة G(z).
- ينظر discriminator D إلى عينة ويعطي درجة (logit). sigmoid(score) هي اعتقاده بأن العينة حقيقية.
مثل أي مصنف: العينات الحقيقية مصنفة بـ 1، والعينات المولدة مصنفة بـ 0، واستخدام binary cross-entropy. يتدرب G لخداع D. هناك طريقتان لكتابة loss الخاص بـ G، والفرق يحدد ما إذا كان التدريب سيبدأ أصلا:
- Saturating (لعبة الورقة الأصلية): G تقلل log(1 - D(G(z))).
- Non-saturating: يقوم G بتقليل -log D(G(z)). نفس الهدف، "اجعل D يقول حقيقي".
أرقام صغيرة: المنحدرات
اكتب f لدرجة D على مزيف، بحيث تكون D(G(z)) = sigmoid(f). ميل كل خسارة بالنسبة لـ f هو:
saturating: -sigmoid(f) non-saturating: sigmoid(f) - 1
في بداية التدريب، يكتشف D التزييف بسهولة: D(G(z)) = 0.001. يكون الميل المشبع حينها -0.001، وهو ما يكاد لا يقدم شيئا للتعلم. أما الميل غير المشبع فهو -0.999، وهو دفع كامل. هذه هي النظرية. قاس المسار متى يكون الأمر مهما: في الحلقة السليمة يتم تدريب كلا الخسارتين (جميع البذور الثمانية المسجلة)؛ في إعداد يفوز فيه D، لا يتعلم الخسارة المشبعة شيئا.
تستخدم جميع الخسائر هنا حيل log-sum-exp بحيث لا يرى أي log القيمة 0: log(sigmoid(f)) = -softplus(-f) و log(1 - sigmoid(f)) = -softplus(f)، مع softplus(a) = log(1 + e^a)، والتي يتم حسابها كـ np.logaddexp(0, a).
الكلمات والرموز في هذا الدرس
- GAN
- شبكة خصومية توليدية: مولد ومميز يتم تدريبهما ضد بعضهما البعض
- مولد (G)
- الشبكة التي تحول الضجيج إلى عينة
- المميز (D)
- الشبكة التي تصنف العينة كحقيقية أو مولدة
- saturating loss
- G يقلل log(1 - D(G(z))); ميله يقارب 0 بمجرد أن يصبح D مؤكداً، لذا يتوقف G عن التعلم
اكتب الخسائر الثلاث كمتوسطات على دفعة من الدرجات: d_loss(real_scores, fake_scores)، g_loss_saturating(fake_scores) و g_loss_nonsat(fake_scores). ثم املأ slopes: لكل D(G(z)) في 0.001، 0.1 و 0.5، ميل كل خسارة مولد بالنسبة لدرجة التزييف (لعينة واحدة).
سيفتح هذا التمرين قريبا
أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.
يقوم هذا المتصفح بحظر ملفات تعريف الارتباط لـ learn.floati.life، لذا لا يمكن فتح الدروس التي أنهيتها هنا بالترتيب. اسمح بملفات تعريف الارتباط لهذا الموقع وأعد التحميل.