Программа курса Урок 172 из 246 · Модуль 15: Сжать, восстановить, сгенерировать (автокодировщики и VAE)
Модуль 15: Сжать, восстановить, сгенерировать (автокодировщики и VAE)

Выборка, через которую можно обучать

Почему это важно Код - случайная выборка из N(mu, spread). Обратному распространению нужен наклон от потерь назад к mu и logvar, а у "случайного числа" наклона нет. Одна переформулировка это исправляет, и она используется далеко за пределами VAE.

Сначала возьмите случайность из фиксированной колоколообразной кривой: eps из N(0, 1). Затем постройте из неё код:

code = mu + exp(logvar / 2) * eps

Код имеет ровно такой же разброс значений, как выборка из N(mu, spread), но теперь это обычная арифметика над mu и logvar, где eps - простой вход. Наклоны просты: d code / d mu = 1, а d code / d logvar = 0,5 exp(logvar / 2) eps. Это трюк репараметризации.

Маленькие числа

mu = 1, logvar = 0, eps = 0,5: code = 1 + 1 × 0,5 = 1,5. Наклон по mu: 1. Наклон по logvar: 0,5 × 1 × 0,5 = 0,25.

Для этого нужна одна новая операция, exp. В движке курса она уже есть (E.exp); здесь вы строите свою, как в модуле 4: прямое значение и правило backward, которое умножает приходящий градиент на локальный наклон (для exp наклон - сама exp).

В движке курса операция - это тензор out = E.T(value, (parent,)) с правилом out.back = lambda g: parent._acc(g * local_slope): back получает градиент, приходящий на out, а _acc прибавляет градиент к родителю. E.GUIDE выводит составные части движка.

Слова и символы этого урока
код (латентный)
несколько чисел, которые кодировщик делает из одной картинки
VAE
вариационный автокодировщик: автокодировщик, коды которого притягиваются заполнить N(0, 1), так что случайные коды декодируются в новые картинки
mu, logvar
центр и логарифм квадрата разброса числа кода в VAE
репараметризация
code = mu + exp(logvar / 2) × eps, где eps берётся первым, чтобы градиенты доходили до mu и logvar
Твоя очередь

Напишите exp_op(a) как операцию движка (верните E.T с родителями и правилом back). Напишите reparam(mu, logvar, eps) через exp_op, E.scale, E.mul и E.add. Затем проверьте оба градиента подталкиванием и присвойте max_gap наибольшую найденную разницу.

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.