Контрольная задача: VAE, который рисует одну цифру (ИИ выключен)
Почему это важно У этого провала есть имя, апостериорный коллапс, и он настолько част, что каждая генеративная модель, которую вы позже построите, может столкнуться с какой-то его версией. Здесь вы диагностируете и исправляете его сами.
Правила контрольной задачи: ИИ-наставник выключен. Запустите стартовый код и посмотрите, что создаёт сломанный VAE. Можно обучить сколько угодно вариаций через gen.train_vae(...) и оценивать их через gen.judge, active_units() и ошибку восстановления.
Есть три настройки, и у каждой есть причина её попробовать:
weight: сила тяги 2 (KL), по умолчанию 1.warmup_steps: начать с веса 0 и равномерно поднимать его доweightза это число шагов (обучение - 600 шагов).free_bits: нижний предел на каждое число кода. Число, KL которого ниже предела, платит предел и не получает толчка к центру, поэтому модель может позволить себе его использовать.
В интернете вы прочитаете, что прогрев веса - стандартное исправление. Выясните, так ли это здесь.
Проверка заново обучает ваше исправление на новом seed и пропускает его, только если выполняются все четыре условия: ошибка восстановления на тесте ниже 0,035, хотя бы 3 активных числа кода, новые цифры с близостью не больше 1,33 и разнообразием не меньше 3,0.
Слова и символы этого урока
- код (латентный)
- несколько чисел, которые кодировщик делает из одной картинки
- VAE
- вариационный автокодировщик: автокодировщик, коды которого притягиваются заполнить N(0, 1), так что случайные коды декодируются в новые картинки
- mu, logvar
- центр и логарифм квадрата разброса числа кода в VAE
- близость, разнообразие
- судья курса: расстояние до ближайшей настоящей цифры и биты разброса по десяти цифрам
- апостериорный коллапс
- VAE, все коды которого становятся N(0, 1) и ничего не несут; он рисует одну среднюю картинку
Присвойте diagnosis одну букву, а fix - словарь настроек для gen.train_vae, который излечивает коллапс.
ИИ выключен: нет тьютора, подсказок или готового решения для этой задачи. Только ваши собственные мысли.
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.