Насколько код далёк от центра: KL между двумя колоколообразными кривыми
Почему это важно Тяге 2 нужно число, которое минимизировать: насколько облачко каждого кода N(mu, spread) далеко от цели N(0, 1). Это число - дивергенция KL, с которой вы встретились в модуле 2, теперь для колоколообразных кривых.
Модуль 2 дал точную формулу для двух колоколообразных кривых: KL между N(m1, s1) и N(m2, s2) равна
log(s2 / s1) + (s1² + (m1 - m2)²) / (2 s2²) - 1/2.
При цели N(0, 1) (m2 = 0, s2 = 1) и разбросе, записанном как logvar = log(s1²), она становится 0.5 (mu² + exp(logvar) - 1 - logvar) на каждое число кода. Сложите по числам кода.
Маленькие числа
mu = 0, logvar = 0 (разброс 1): 0,5 (0 + 1 - 1 - 0) = 0, код уже совпадает с целью. mu = 2, logvar = 0: 0,5 (4 + 1 - 1 - 0) = 2. mu = 0, logvar = -2: 0,5 (0 + 0,135 - 1 + 2) = 0,568, так что код, слишком уверенный в себе, тоже платит.
Проверьте это без формулы
KL - это среднее: среднее log p(x) - log q(x) для x, взятых из p. Если взять много x и усреднить, получится то же число, немного шумное. Совпадение двух методов - то, как вы узнаёте, что код верен.
Слова и символы этого урока
- код (латентный)
- несколько чисел, которые кодировщик делает из одной картинки
- mu, logvar
- центр и логарифм квадрата разброса числа кода в VAE
Напишите kl_normal(m1, s1, m2, s2) по формуле, kl_to_standard(mu, logvar) (массивы NumPy формы (N, z), возвращающая сумму по числам кода, усреднённую по N строкам) и kl_by_sampling(m1, s1, m2, s2, n), которая усредняет log p(x) - log q(x) по n выборкам из p.
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.