المنهج الدراسي الدرس 171 من 246 · الوحدة 15: الضغط، إعادة البناء، التوليد (autoencoders و VAEs)
الوحدة 15: الضغط، إعادة البناء، التوليد (autoencoders و VAEs)

خسارة VAE، خطوة بخطوة (الـ ELBO)

لماذا هذا مهم "أعد البناء جيداً بالإضافة إلى البقاء قريباً من المركز" يبدو كهدفين ملتصقين ببعضهما. إنه هدف واحد: اجعل الأرقام الحقيقية محتملة قدر الإمكان تحت النموذج. رؤية السبب تخبرك بما يعنيه رقم loss.

A VAE هي قصة حول كيفية صنع رقم: ارسم كود z من N(0, 1)، ثم ارسم كل بكسل بالاحتمالية التي يعطيها decoder. النموذج الأفضل يعطي الأرقام الحقيقية أعلى احتمالية، log p(x). حساب log p(x) بدقة يحتاج إلى متوسط لكل z ممكن، وهو أمر بعيد المنال.

الحيلة هي حد أدنى يمكنك حسابه، وهو ELBO (حد الأدنى للأدلة):

log p(x) ≥ E[log p(x | z)] - KL(q(z | x) || N(0, 1))

هنا q(z | x) = N(mu, spread) هو تخمين المشفر للأكواد التي يمكن أن تكون أنتجت x، و E[...] يحسب المتوسط عبر الأكواد المستخرجة منه. الحد الأول هو درجة إعادة البناء. الحد الثاني هو pull 2. الفجوة بين log p(x) و ELBO هي بالضبط مدى خطأ تخمين المشفر (KL بالنسبة للتوزيع البعدي الحقيقي)، لذا فإن رفع ELBO يرفع log p(x)، أو يقلص الفجوة (يجعل التخمين أفضل)، أو كلاهما: لا يمكن لـ ELBO وحده أن يخبرك أيهما.

يقلل

التدريب من -ELBO، وهو عبارة عن rebuild loss + KL: وهو نفس الـ loss في gen.train_vae.

املأ الفراغات في مثال صغير

صورة

A مكونة من 4 بكسلات x = [1, 0, 1, 1]. يعطي المشفر mu = [0.5, -1.0] و logvar = [0.0, -1.0]. رسم واحد للكود يعطي احتمالات فك التشفير p = [0.9, 0.2, 0.7, 0.6] (احتمال الحبر لكل بكسل).

الكلمات والرموز في هذا الدرس
كود (كامِن)
الأرقام القليلة التي ينتجها encoder من صورة واحدة
VAE
variational autoencoder: هو autoencoder يتم سحب الرموز الخاصة به لملء N(0, 1)، بحيث يتم فك تشفير الرموز العشوائية إلى صور جديدة
mu, logvar
المركز ولوغاريتم التباين المربع لرقم كود في VAE
ELBO
الحد الأدنى للأدلة: إعادة بناء score ناقص KL؛ تدريب VAE يدفعه للأعلى
دورك

املأ كل خطوة: log_p_x_given_z (المجموع على البكسلات لـ x log p + (1 - x) log(1 - p))، وkl (إلى N(0, 1)، مجموعاً على رقمي الرمز كليهما)، وelbo، وloss (ما يقلّله التدريب). ثم اضبط gap_means على الحرف الذي يقول ما الذي تقيسه الفجوة بين log p(x) والـ ELBO.

هل لاحظت مشكلة في هذا الدرس؟ أبلغ عنها · اسأل عن هذا الدرس

سيفتح هذا التمرين قريبا

أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.