Программа курса Урок 176 из 246 · Модуль 16: Две сети в игре (GAN, по желанию)
Модуль 16: Две сети в игре (GAN, по желанию)

Две сети в игре

Почему это важно VAE учится восстанавливать картинки и платит за это размытием. GAN (генеративно-состязательная сеть) никогда ничего не восстанавливает. Одна сеть делает картинки, вторая их оценивает, и каждая обучается против другой. Это идея, стоящая за первыми сгенерированными лицами, которые обманывали людей.

Два игрока:

  • Генератор G превращает случайный шум z в образец G(z).
  • Дискриминатор D смотрит на образец и даёт оценку (логит). sigmoid(score) - его уверенность в том, что образец настоящий.

D обучается как любой классификатор: настоящие образцы с меткой 1, сгенерированные с меткой 0, бинарная перекрёстная энтропия. G обучается обманывать D. Записать потери G можно двумя способами, и разница решает, начнётся ли обучение вообще:

  • Насыщающиеся (игра исходной статьи): G минимизирует log(1 - D(G(z))).
  • Ненасыщающиеся: G минимизирует -log D(G(z)). Та же цель: "заставить D сказать, что это настоящее".

Маленькие числа: наклоны

Обозначим f оценку D на подделке, так что D(G(z)) = sigmoid(f). Наклон каждых потерь по f такой:

насыщающиеся: -sigmoid(f)    ненасыщающиеся: sigmoid(f) - 1

В начале обучения D легко распознаёт подделки: D(G(z)) = 0,001. Тогда насыщающийся наклон равен -0,001, учиться почти не на чем. Ненасыщающийся наклон равен -0,999, полный толчок. Это теория. Курс измерил, когда это важно: на здоровом кольце обучаются оба вида потерь (все 8 записанных seed); в настройке, где выигрывает D, насыщающиеся потери ничему не учатся.

Все потери здесь используют трюки log-sum-exp, чтобы ни один логарифм никогда не видел 0: log(sigmoid(f)) = -softplus(-f) и log(1 - sigmoid(f)) = -softplus(f), где softplus(a) = log(1 + e^a), вычисляемый как np.logaddexp(0, a).

Слова и символы этого урока
GAN
генеративно-состязательная сеть: генератор и дискриминатор, обучаемые друг против друга
генератор (G)
сеть, которая превращает шум в образец
дискриминатор (D)
сеть, которая оценивает образец как настоящий или сгенерированный
насыщающиеся потери
G минимизирует log(1 - D(G(z))); как только D уверен, их наклон около 0, и G перестаёт учиться
Твоя очередь

Напишите три вида потерь как средние по батчу оценок: d_loss(real_scores, fake_scores), g_loss_saturating(fake_scores) и g_loss_nonsat(fake_scores). Затем заполните slopes: для каждого D(G(z)) из 0,001, 0,1 и 0,5 - наклон потерь каждого генератора по оценке подделки (для одного образца).

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.