Программа курса Урок 177 из 246 · Модуль 16: Две сети в игре (GAN, по желанию)
Модуль 16: Две сети в игре (GAN, по желанию)

Игра на восьми сгустках

Почему это важно Картинки прячут то, что GAN делает неправильно. Точки в 2D - нет: сразу видно, какие части данных генератор нашёл, а какие пропустил.

Настоящие данные: 8 плотных сгустков на окружности. Хороший генератор ставит точки на все 8 сгустков, примерно поровну. Судья, ganlab.coverage(points), даёт два числа: покрытые сгустки (сгусток засчитывается, когда получает больше 2% точек) и качество (доля точек, попадающих на какой-либо сгусток).

Посмотрите сцену: настоящие сгустки, затем где оказываются точки обученного генератора, затем генератор, который схлопнулся.

У одного шага обучения две половины:

  1. Ход D. Батч настоящих точек (ganlab.ring(128, rng)) и батч подделок. Берите подделки как простые числа (.data), чтобы шаг D не дотягивался до G. Потери = BCE(score(real), 1) + BCE(score(fake), 0). Шаг D.
  2. Ход G. Новый шум, генерация, оценка через D, потери = BCE(score, 1): ненасыщающиеся потери. Шаг G. Этот обратный проход также заполнил градиенты D; верните их в None, иначе они просочатся в следующий шаг D.

GAN используют Adam с первой beta, равной 0,5 (Adam курса принимает b1). Курс измерил почему: со значением по умолчанию 0,9 тот же GAN покрывал от 1 до 7 сгустков на 5 seed, с 0,5 - 7 или 8.

Слова и символы этого урока
GAN
генеративно-состязательная сеть: генератор и дискриминатор, обучаемые друг против друга
генератор (G)
сеть, которая превращает шум в образец
насыщающиеся потери
G минимизирует log(1 - D(G(z))); как только D уверен, их наклон около 0, и G перестаёт учиться
ненасыщающиеся потери
G минимизирует -log D(G(z)); та же цель, полный толчок даже при уверенном D
покрытые сгустки, качество
судья кольца: сгустки, получившие больше 2% точек, и доля точек, попавших на сгусток
Твоя очередь

Напишите тело цикла обучения: 2000 шагов (около 4 секунд в браузере). Пройдите хотя бы с 7 покрытыми сгустками и качеством не меньше 0,5. Напишите цикл сами: ganlab.train здесь под запретом.

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.