Программа курса Урок 170 из 246 · Модуль 15: Сжать, восстановить, сгенерировать (автокодировщики и VAE)
Модуль 15: Сжать, восстановить, сгенерировать (автокодировщики и VAE)

Насколько код далёк от центра: KL между двумя колоколообразными кривыми

Почему это важно Тяге 2 нужно число, которое минимизировать: насколько облачко каждого кода N(mu, spread) далеко от цели N(0, 1). Это число - дивергенция KL, с которой вы встретились в модуле 2, теперь для колоколообразных кривых.

Модуль 2 дал точную формулу для двух колоколообразных кривых: KL между N(m1, s1) и N(m2, s2) равна

log(s2 / s1) + (s1² + (m1 - m2)²) / (2 s2²) - 1/2.

При цели N(0, 1) (m2 = 0, s2 = 1) и разбросе, записанном как logvar = log(s1²), она становится 0.5 (mu² + exp(logvar) - 1 - logvar) на каждое число кода. Сложите по числам кода.

Маленькие числа

mu = 0, logvar = 0 (разброс 1): 0,5 (0 + 1 - 1 - 0) = 0, код уже совпадает с целью. mu = 2, logvar = 0: 0,5 (4 + 1 - 1 - 0) = 2. mu = 0, logvar = -2: 0,5 (0 + 0,135 - 1 + 2) = 0,568, так что код, слишком уверенный в себе, тоже платит.

Проверьте это без формулы

KL - это среднее: среднее log p(x) - log q(x) для x, взятых из p. Если взять много x и усреднить, получится то же число, немного шумное. Совпадение двух методов - то, как вы узнаёте, что код верен.

Слова и символы этого урока
код (латентный)
несколько чисел, которые кодировщик делает из одной картинки
mu, logvar
центр и логарифм квадрата разброса числа кода в VAE
Твоя очередь

Напишите kl_normal(m1, s1, m2, s2) по формуле, kl_to_standard(mu, logvar) (массивы NumPy формы (N, z), возвращающая сумму по числам кода, усреднённую по N строкам) и kl_by_sampling(m1, s1, m2, s2, n), которая усредняет log p(x) - log q(x) по n выборкам из p.

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.