Две сети в игре
Почему это важно VAE учится восстанавливать картинки и платит за это размытием. GAN (генеративно-состязательная сеть) никогда ничего не восстанавливает. Одна сеть делает картинки, вторая их оценивает, и каждая обучается против другой. Это идея, стоящая за первыми сгенерированными лицами, которые обманывали людей.
Два игрока:
- Генератор G превращает случайный шум z в образец G(z).
- Дискриминатор D смотрит на образец и даёт оценку (логит). sigmoid(score) - его уверенность в том, что образец настоящий.
D обучается как любой классификатор: настоящие образцы с меткой 1, сгенерированные с меткой 0, бинарная перекрёстная энтропия. G обучается обманывать D. Записать потери G можно двумя способами, и разница решает, начнётся ли обучение вообще:
- Насыщающиеся (игра исходной статьи): G минимизирует log(1 - D(G(z))).
- Ненасыщающиеся: G минимизирует -log D(G(z)). Та же цель: "заставить D сказать, что это настоящее".
Маленькие числа: наклоны
Обозначим f оценку D на подделке, так что D(G(z)) = sigmoid(f). Наклон каждых потерь по f такой:
насыщающиеся: -sigmoid(f) ненасыщающиеся: sigmoid(f) - 1
В начале обучения D легко распознаёт подделки: D(G(z)) = 0,001. Тогда насыщающийся наклон равен -0,001, учиться почти не на чем. Ненасыщающийся наклон равен -0,999, полный толчок. Это теория. Курс измерил, когда это важно: на здоровом кольце обучаются оба вида потерь (все 8 записанных seed); в настройке, где выигрывает D, насыщающиеся потери ничему не учатся.
Все потери здесь используют трюки log-sum-exp, чтобы ни один логарифм никогда не видел 0: log(sigmoid(f)) = -softplus(-f) и log(1 - sigmoid(f)) = -softplus(f), где softplus(a) = log(1 + e^a), вычисляемый как np.logaddexp(0, a).
Слова и символы этого урока
- GAN
- генеративно-состязательная сеть: генератор и дискриминатор, обучаемые друг против друга
- генератор (G)
- сеть, которая превращает шум в образец
- дискриминатор (D)
- сеть, которая оценивает образец как настоящий или сгенерированный
- насыщающиеся потери
- G минимизирует log(1 - D(G(z))); как только D уверен, их наклон около 0, и G перестаёт учиться
Напишите три вида потерь как средние по батчу оценок: d_loss(real_scores, fake_scores), g_loss_saturating(fake_scores) и g_loss_nonsat(fake_scores). Затем заполните slopes: для каждого D(G(z)) из 0,001, 0,1 и 0,5 - наклон потерь каждого генератора по оценке подделки (для одного образца).
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.