Программа курса Урок 173 из 246 · Модуль 15: Сжать, восстановить, сгенерировать (автокодировщики и VAE)
Модуль 15: Сжать, восстановить, сгенерировать (автокодировщики и VAE)

Ваш VAE создаёт новые цифры

Почему это важно Все детали готовы: mu и logvar кодировщика, трюк для выборки, потери восстановления и KL. Соберите их в один шаг обучения, и у вас модель, которая создаёт цифры, которых никто не рисовал.

Один шаг обучения словами:

  1. Закодируйте батч: mu, logvar = model.encode(E.T(x)).
  2. Возьмите eps из N(0, 1) формы mu и сделайте код своей репараметризацией.
  3. Декодируйте код в оценки пикселей: model.decode_logits(code).
  4. Потери = E.bce_with_logits(scores, x) + E.kl_to_standard(mu, logvar) (версия вашей KL в движке курса).
  5. Backward, затем opt.step().

Затем оцените его тем же судьёй, что и раньше: близость и разнообразие 500 новых цифр, взятых из N(0, 1). Ошибка восстановления будет хуже, чем у автокодировщика (около 0,03 против 0,008). Это цена тяги 2, и она покупает пространство кодов, из которого можно делать выборку.

Слова и символы этого урока
автокодировщик
кодировщик, сжимающий картинку в несколько чисел, и декодер, который её восстанавливает
код (латентный)
несколько чисел, которые кодировщик делает из одной картинки
VAE
вариационный автокодировщик: автокодировщик, коды которого притягиваются заполнить N(0, 1), так что случайные коды декодируются в новые картинки
mu, logvar
центр и логарифм квадрата разброса числа кода в VAE
репараметризация
code = mu + exp(logvar / 2) × eps, где eps берётся первым, чтобы градиенты доходили до mu и logvar
близость, разнообразие
судья курса: расстояние до ближайшей настоящей цифры и биты разброса по десяти цифрам
Твоя очередь

Напишите тело цикла обучения (600 шагов по 256 картинок). Пройдите с: ошибкой восстановления на тесте ниже 0,035, новыми цифрами с близостью не больше 1,30 и разнообразием не меньше 3,0 и хотя бы 3 активными числами кода. Используйте собственный цикл: gen.train_vae здесь под запретом.

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.