Выборка, через которую можно обучать
Почему это важно Код - случайная выборка из N(mu, spread). Обратному распространению нужен наклон от потерь назад к mu и logvar, а у "случайного числа" наклона нет. Одна переформулировка это исправляет, и она используется далеко за пределами VAE.
Сначала возьмите случайность из фиксированной колоколообразной кривой: eps из N(0, 1). Затем постройте из неё код:
code = mu + exp(logvar / 2) * eps
Код имеет ровно такой же разброс значений, как выборка из N(mu, spread), но теперь это обычная арифметика над mu и logvar, где eps - простой вход. Наклоны просты: d code / d mu = 1, а d code / d logvar = 0,5 exp(logvar / 2) eps. Это трюк репараметризации.
Маленькие числа
mu = 1, logvar = 0, eps = 0,5: code = 1 + 1 × 0,5 = 1,5. Наклон по mu: 1. Наклон по logvar: 0,5 × 1 × 0,5 = 0,25.
Для этого нужна одна новая операция, exp. В движке курса она уже есть (E.exp); здесь вы строите свою, как в модуле 4: прямое значение и правило backward, которое умножает приходящий градиент на локальный наклон (для exp наклон - сама exp).
В движке курса операция - это тензор out = E.T(value, (parent,)) с правилом out.back = lambda g: parent._acc(g * local_slope): back получает градиент, приходящий на out, а _acc прибавляет градиент к родителю. E.GUIDE выводит составные части движка.
Слова и символы этого урока
- код (латентный)
- несколько чисел, которые кодировщик делает из одной картинки
- VAE
- вариационный автокодировщик: автокодировщик, коды которого притягиваются заполнить N(0, 1), так что случайные коды декодируются в новые картинки
- mu, logvar
- центр и логарифм квадрата разброса числа кода в VAE
- репараметризация
- code = mu + exp(logvar / 2) × eps, где eps берётся первым, чтобы градиенты доходили до mu и logvar
Напишите exp_op(a) как операцию движка (верните E.T с родителями и правилом back). Напишите reparam(mu, logvar, eps) через exp_op, E.scale, E.mul и E.add. Затем проверьте оба градиента подталкиванием и присвойте max_gap наибольшую найденную разницу.
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.