Программа курса Урок 178 из 246 · Модуль 16: Две сети в игре (GAN, по желанию)
Модуль 16: Две сети в игре (GAN, по желанию)

Коллапс мод, намеренно

Почему это важно Самый частый провал GAN выглядит как успех: каждый образец чёткий и убедительный, но все они почти одинаковы. Это называется коллапс мод (каждый сгусток - "мода" данных). Нельзя исправить то, что не умеешь вызвать, поэтому здесь вы его вызываете.

Почему это происходит: G нужно обмануть лишь сегодняшнего D. Если один сгусток обманывает D лучше всего, G кладёт всё туда. D узнаёт, что этот сгусток подозрителен, G перепрыгивает на другой, и они могут гоняться друг за другом по кольцу, а G так и не распределится.

ganlab.train(...) обучает тот же GAN, что в прошлом уроке, с любыми из этих настроек: noise (сколько чисел шума получает G, по умолчанию 2), d_steps (шагов D на шаг G, 1), g_lr и d_lr (по 1e-3), loss, smooth, instance_noise, spectral. Записанные прогоны, ganlab.recorded(), показывают некоторые настройки на 8 seed.

Коллапс - это мало сгустков И чёткие точки. Генератор, который разбрасывает точки повсюду, тоже покрывает мало сгустков, но это другой провал: он вообще не выучил сгустки.

Слова и символы этого урока
GAN
генеративно-состязательная сеть: генератор и дискриминатор, обучаемые друг против друга
генератор (G)
сеть, которая превращает шум в образец
коллапс мод
генератор создаёт лишь несколько видов образцов, каждый убедительный
покрытые сгустки, качество
судья кольца: сгустки, получившие больше 2% точек, и доля точек, попавших на сгусток
Твоя очередь

Найдите настройки, которые схлопывают GAN на seed 0: не больше 3 покрытых сгустков при качестве не меньше 0,6. Запишите их в settings. Чтобы каждая попытка была короткой, этот урок обучает 1000 шагов при скорости обучения 0,002 (задано за вас; коллапс тот же, что и при 2000 шагах). Меняйте только собственные настройки GAN (noise, d_steps до 3, loss, smooth, instance_noise, spectral); seed, шаги и скорости обучения остаются данными. Затем присвойте looks_like букву, которая описывает коллапс.

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.