المنهج الدراسي الدرس 170 من 246 · الوحدة 15: الضغط، إعادة البناء، التوليد (autoencoders و VAEs)
الوحدة 15: الضغط، إعادة البناء، التوليد (autoencoders و VAEs)

مدى بعد الكود عن المركز: KL بين منحنيين جرسيين

لماذا هذا مهم تتطلب Pull 2 رقماً لتقليل المسافة بين سحابة كل كود N(mu, spread) والهدف N(0, 1). هذا الرقم هو KL divergence الذي قابلته في Module 2، ولكن الآن لمنحنيات الجرس.

قدمت الوحدة 2 الصيغة الدقيقة لمنحنيين جرسيين: KL بين N(m1, s1) و N(m2, s2) هي

log(s2 / s1) + (s1² + (m1 - m2)²) / (2 s2²) - 1/2.

مع الهدف N(0, 1) (m2 = 0, s2 = 1) والانتشار المكتوب كـ logvar = log(s1²)، يصبح 0.5 (mu² + exp(logvar) - 1 - logvar) لكل رقم كود. أضفه فوق أرقام الكود.

أرقام صغيرة

mu = 0, logvar = 0 (spread 1): 0.5 (0 + 1 - 1 - 0) = 0, الكود يطابق الهدف بالفعل. mu = 2, logvar = 0: 0.5 (4 + 1 - 1 - 0) = 2. mu = 0, logvar = -2: 0.5 (0 + 0.135 - 1 + 2) = 0.568, لذا الكود الذي يثق بنفسه كثيرا يدفع أيضا.

تحقق منه بدون الصيغة

KL هو متوسط: متوسط log p(x) - log q(x) لـ x المسحوبة من p. سحب العديد من x وحساب المتوسط يعطي نفس الرقم، مع القليل من الضجيج. اتفاق طريقتين هو كيف تعرف أن الكود صحيح.

الكلمات والرموز في هذا الدرس
كود (كامِن)
الأرقام القليلة التي ينتجها encoder من صورة واحدة
mu, logvar
المركز ولوغاريتم التباين المربع لرقم كود في VAE
دورك

اكتب kl_normal(m1, s1, m2, s2) من الصيغة، kl_to_standard(mu, logvar) (مصفوفات NumPy بشكل (N, z)، تعيد المجموع عبر أرقام الكود بمتوسط الصفوف N)، و kl_by_sampling(m1, s1, m2, s2, n) الذي يحسب متوسط log p(x) - log q(x) عبر n سحبات من p.

هل لاحظت مشكلة في هذا الدرس؟ أبلغ عنها · اسأل عن هذا الدرس

سيفتح هذا التمرين قريبا

أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.