خسارة VAE، خطوة بخطوة (الـ ELBO)
لماذا هذا مهم "أعد البناء جيداً بالإضافة إلى البقاء قريباً من المركز" يبدو كهدفين ملتصقين ببعضهما. إنه هدف واحد: اجعل الأرقام الحقيقية محتملة قدر الإمكان تحت النموذج. رؤية السبب تخبرك بما يعنيه رقم loss.
A VAE هي قصة حول كيفية صنع رقم: ارسم كود z من N(0, 1)، ثم ارسم كل بكسل بالاحتمالية التي يعطيها decoder. النموذج الأفضل يعطي الأرقام الحقيقية أعلى احتمالية، log p(x). حساب log p(x) بدقة يحتاج إلى متوسط لكل z ممكن، وهو أمر بعيد المنال.
الحيلة هي حد أدنى يمكنك حسابه، وهو ELBO (حد الأدنى للأدلة):
log p(x) ≥ E[log p(x | z)] - KL(q(z | x) || N(0, 1))
هنا q(z | x) = N(mu, spread) هو تخمين المشفر للأكواد التي يمكن أن تكون أنتجت x، و E[...] يحسب المتوسط عبر الأكواد المستخرجة منه. الحد الأول هو درجة إعادة البناء. الحد الثاني هو pull 2. الفجوة بين log p(x) و ELBO هي بالضبط مدى خطأ تخمين المشفر (KL بالنسبة للتوزيع البعدي الحقيقي)، لذا فإن رفع ELBO يرفع log p(x)، أو يقلص الفجوة (يجعل التخمين أفضل)، أو كلاهما: لا يمكن لـ ELBO وحده أن يخبرك أيهما.
يقلل التدريب من -ELBO، وهو عبارة عن rebuild loss + KL: وهو نفس الـ loss في gen.train_vae.
املأ الفراغات في مثال صغير
صورةA مكونة من 4 بكسلات x = [1, 0, 1, 1]. يعطي المشفر mu = [0.5, -1.0] و logvar = [0.0, -1.0]. رسم واحد للكود يعطي احتمالات فك التشفير p = [0.9, 0.2, 0.7, 0.6] (احتمال الحبر لكل بكسل).
الكلمات والرموز في هذا الدرس
- كود (كامِن)
- الأرقام القليلة التي ينتجها encoder من صورة واحدة
- VAE
- variational autoencoder: هو autoencoder يتم سحب الرموز الخاصة به لملء N(0, 1)، بحيث يتم فك تشفير الرموز العشوائية إلى صور جديدة
- mu, logvar
- المركز ولوغاريتم التباين المربع لرقم كود في VAE
- ELBO
- الحد الأدنى للأدلة: إعادة بناء score ناقص KL؛ تدريب VAE يدفعه للأعلى
املأ كل خطوة: log_p_x_given_z (المجموع على البكسلات لـ x log p + (1 - x) log(1 - p))، وkl (إلى N(0, 1)، مجموعاً على رقمي الرمز كليهما)، وelbo، وloss (ما يقلّله التدريب). ثم اضبط gap_means على الحرف الذي يقول ما الذي تقيسه الفجوة بين log p(x) والـ ELBO.
سيفتح هذا التمرين قريبا
أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.
يقوم هذا المتصفح بحظر ملفات تعريف الارتباط لـ learn.floati.life، لذا لا يمكن فتح الدروس التي أنهيتها هنا بالترتيب. اسمح بملفات تعريف الارتباط لهذا الموقع وأعد التحميل.