مدى بعد الكود عن المركز: KL بين منحنيين جرسيين
لماذا هذا مهم تتطلب Pull 2 رقماً لتقليل المسافة بين سحابة كل كود N(mu, spread) والهدف N(0, 1). هذا الرقم هو KL divergence الذي قابلته في Module 2، ولكن الآن لمنحنيات الجرس.
قدمت الوحدة 2 الصيغة الدقيقة لمنحنيين جرسيين: KL بين N(m1, s1) و N(m2, s2) هي
log(s2 / s1) + (s1² + (m1 - m2)²) / (2 s2²) - 1/2.
مع الهدف N(0, 1) (m2 = 0, s2 = 1) والانتشار المكتوب كـ logvar = log(s1²)، يصبح 0.5 (mu² + exp(logvar) - 1 - logvar) لكل رقم كود. أضفه فوق أرقام الكود.
أرقام صغيرة
mu = 0, logvar = 0 (spread 1): 0.5 (0 + 1 - 1 - 0) = 0, الكود يطابق الهدف بالفعل. mu = 2, logvar = 0: 0.5 (4 + 1 - 1 - 0) = 2. mu = 0, logvar = -2: 0.5 (0 + 0.135 - 1 + 2) = 0.568, لذا الكود الذي يثق بنفسه كثيرا يدفع أيضا.
تحقق منه بدون الصيغة
KL هو متوسط: متوسط log p(x) - log q(x) لـ x المسحوبة من p. سحب العديد من x وحساب المتوسط يعطي نفس الرقم، مع القليل من الضجيج. اتفاق طريقتين هو كيف تعرف أن الكود صحيح.
الكلمات والرموز في هذا الدرس
- كود (كامِن)
- الأرقام القليلة التي ينتجها encoder من صورة واحدة
- mu, logvar
- المركز ولوغاريتم التباين المربع لرقم كود في VAE
اكتب kl_normal(m1, s1, m2, s2) من الصيغة، kl_to_standard(mu, logvar) (مصفوفات NumPy بشكل (N, z)، تعيد المجموع عبر أرقام الكود بمتوسط الصفوف N)، و kl_by_sampling(m1, s1, m2, s2, n) الذي يحسب متوسط log p(x) - log q(x) عبر n سحبات من p.
سيفتح هذا التمرين قريبا
أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.
يقوم هذا المتصفح بحظر ملفات تعريف الارتباط لـ learn.floati.life، لذا لا يمكن فتح الدروس التي أنهيتها هنا بالترتيب. اسمح بملفات تعريف الارتباط لهذا الموقع وأعد التحميل.