Программа курса Урок 175 из 246 · Модуль 15: Сжать, восстановить, сгенерировать (автокодировщики и VAE)
Модуль 15: Сжать, восстановить, сгенерировать (автокодировщики и VAE)

Контрольная задача: VAE, который рисует одну цифру (ИИ выключен)

Почему это важно У этого провала есть имя, апостериорный коллапс, и он настолько част, что каждая генеративная модель, которую вы позже построите, может столкнуться с какой-то его версией. Здесь вы диагностируете и исправляете его сами.

Правила контрольной задачи: ИИ-наставник выключен. Запустите стартовый код и посмотрите, что создаёт сломанный VAE. Можно обучить сколько угодно вариаций через gen.train_vae(...) и оценивать их через gen.judge, active_units() и ошибку восстановления.

Есть три настройки, и у каждой есть причина её попробовать:

  • weight: сила тяги 2 (KL), по умолчанию 1.
  • warmup_steps: начать с веса 0 и равномерно поднимать его до weight за это число шагов (обучение - 600 шагов).
  • free_bits: нижний предел на каждое число кода. Число, KL которого ниже предела, платит предел и не получает толчка к центру, поэтому модель может позволить себе его использовать.

В интернете вы прочитаете, что прогрев веса - стандартное исправление. Выясните, так ли это здесь.

Проверка заново обучает ваше исправление на новом seed и пропускает его, только если выполняются все четыре условия: ошибка восстановления на тесте ниже 0,035, хотя бы 3 активных числа кода, новые цифры с близостью не больше 1,33 и разнообразием не меньше 3,0.

Слова и символы этого урока
код (латентный)
несколько чисел, которые кодировщик делает из одной картинки
VAE
вариационный автокодировщик: автокодировщик, коды которого притягиваются заполнить N(0, 1), так что случайные коды декодируются в новые картинки
mu, logvar
центр и логарифм квадрата разброса числа кода в VAE
близость, разнообразие
судья курса: расстояние до ближайшей настоящей цифры и биты разброса по десяти цифрам
апостериорный коллапс
VAE, все коды которого становятся N(0, 1) и ничего не несут; он рисует одну среднюю картинку
Твоя очередь

Присвойте diagnosis одну букву, а fix - словарь настроек для gen.train_vae, который излечивает коллапс.

ИИ выключен: нет тьютора, подсказок или готового решения для этой задачи. Только ваши собственные мысли.

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.