Ваш VAE создаёт новые цифры
Почему это важно Все детали готовы: mu и logvar кодировщика, трюк для выборки, потери восстановления и KL. Соберите их в один шаг обучения, и у вас модель, которая создаёт цифры, которых никто не рисовал.
Один шаг обучения словами:
- Закодируйте батч:
mu, logvar = model.encode(E.T(x)). - Возьмите eps из N(0, 1) формы mu и сделайте код своей репараметризацией.
- Декодируйте код в оценки пикселей:
model.decode_logits(code). - Потери =
E.bce_with_logits(scores, x)+E.kl_to_standard(mu, logvar)(версия вашей KL в движке курса). - Backward, затем
opt.step().
Затем оцените его тем же судьёй, что и раньше: близость и разнообразие 500 новых цифр, взятых из N(0, 1). Ошибка восстановления будет хуже, чем у автокодировщика (около 0,03 против 0,008). Это цена тяги 2, и она покупает пространство кодов, из которого можно делать выборку.
Слова и символы этого урока
- автокодировщик
- кодировщик, сжимающий картинку в несколько чисел, и декодер, который её восстанавливает
- код (латентный)
- несколько чисел, которые кодировщик делает из одной картинки
- VAE
- вариационный автокодировщик: автокодировщик, коды которого притягиваются заполнить N(0, 1), так что случайные коды декодируются в новые картинки
- mu, logvar
- центр и логарифм квадрата разброса числа кода в VAE
- репараметризация
- code = mu + exp(logvar / 2) × eps, где eps берётся первым, чтобы градиенты доходили до mu и logvar
- близость, разнообразие
- судья курса: расстояние до ближайшей настоящей цифры и биты разброса по десяти цифрам
Напишите тело цикла обучения (600 шагов по 256 картинок). Пройдите с: ошибкой восстановления на тесте ниже 0,035, новыми цифрами с близостью не больше 1,30 и разнообразием не меньше 3,0 и хотя бы 3 активными числами кода. Используйте собственный цикл: gen.train_vae здесь под запретом.
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.