Программа курса Урок 171 из 246 · Модуль 15: Сжать, восстановить, сгенерировать (автокодировщики и VAE)
Модуль 15: Сжать, восстановить, сгенерировать (автокодировщики и VAE)

Потери VAE шаг за шагом (ELBO)

Почему это важно "Хорошо восстанавливать плюс держаться у центра" звучит как две склеенные цели. Это одна цель: сделать настоящие цифры как можно вероятнее при этой модели. Понимание почему говорит, что значит число потерь.

VAE - это история о том, как делается цифра: взять код z из N(0, 1), затем взять каждый пиксель с вероятностью, которую даёт декодер. Лучшая модель даёт настоящим цифрам наибольшую вероятность, log p(x). Точное вычисление log p(x) требует усреднения по каждому возможному z, что недостижимо.

Трюк - нижняя граница, которую можно вычислить, ELBO (evidence lower bound, нижняя граница обоснованности):

log p(x) ≥ E[log p(x | z)] - KL(q(z | x) || N(0, 1))

Здесь q(z | x) = N(mu, spread) - догадка кодировщика о том, какие коды могли создать x, а E[...] усредняет по кодам, взятым из неё. Первый член - оценка восстановления. Второй член - тяга 2. Разрыв между log p(x) и ELBO - ровно то, насколько неверна догадка кодировщика (KL до истинного апостериорного распределения), поэтому подъём ELBO поднимает log p(x), или закрывает разрыв (делает догадку лучше), или и то и другое: одна ELBO не может сказать, что именно.

Обучение минимизирует -ELBO, то есть потери восстановления + KL: ровно те потери, что в gen.train_vae.

Заполните пропуски на крошечном примере

Картинка из 4 пикселей x = [1, 0, 1, 1]. Кодировщик даёт mu = [0.5, -1.0] и logvar = [0.0, -1.0]. Одна выборка кода даёт вероятности декодера p = [0.9, 0.2, 0.7, 0.6] (шанс заливки каждого пикселя).

Слова и символы этого урока
код (латентный)
несколько чисел, которые кодировщик делает из одной картинки
VAE
вариационный автокодировщик: автокодировщик, коды которого притягиваются заполнить N(0, 1), так что случайные коды декодируются в новые картинки
mu, logvar
центр и логарифм квадрата разброса числа кода в VAE
ELBO
нижняя граница обоснованности: оценка восстановления минус KL; обучение VAE поднимает её
Твоя очередь

Заполните каждый шаг: log_p_x_given_z (сумма по пикселям x log p + (1 - x) log(1 - p)), kl (до N(0, 1), просуммированная по обоим числам кода), elbo и loss (то, что минимизирует обучение). Затем присвойте gap_means букву, которая говорит, что измеряет разрыв между log p(x) и ELBO.

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.