Трюки, которые иногда помогают
Почему это важно Статьи и посты о GAN перечисляют десятки трюков. Большинство показаны на одной установке, часто на одном seed. Здесь вы проверяете четыре из них на одном и том же коллапсе, на 8 записанных seed, и сообщаете то, что измерили, а не то, что прочитали.
Четыре трюка, каждый применён к схлопывающемуся GAN с 8 числами шума:
- Сглаживание меток: D говорят, что настоящие образцы настоящие на 0,8, а не на 1, чтобы он никогда не становился слишком уверенным.
- Шум экземпляров: к каждой точке, которую видит D, добавляется немного шума, уменьшающегося до 0 по ходу обучения, так что вначале настоящие и поддельные перекрываются.
- Спектральная нормализация: каждая матрица весов D делится на своё наибольшее растяжение, чтобы D не мог слишком резко реагировать на маленькие изменения.
- Баланс скоростей обучения: G медленнее D (g_lr 2,5e-4) или быстрее (g_lr 3e-3).
Используйте дух модуля 9: разница считается, только когда она явно больше шума между seed. Сравнивайте каждый трюк с простым прогоном seed за seed (тот же seed, парно):
- helped: среднее число сгустков хотя бы на 1 выше И больше сгустков хотя бы на 6 из 8 seed;
- hurt: среднее число сгустков хотя бы на 1 ниже и меньше хотя бы на 6 seed, ИЛИ среднее качество хотя бы на 0,25 ниже и ниже хотя бы на 6 seed (генератору, который сохраняет сгустки, но разбрасывает точки, не помогли);
- иначе no clear change.
Слова и символы этого урока
- GAN
- генеративно-состязательная сеть: генератор и дискриминатор, обучаемые друг против друга
- генератор (G)
- сеть, которая превращает шум в образец
- покрытые сгустки, качество
- судья кольца: сгустки, получившие больше 2% точек, и доля точек, попавших на сгусток
- сглаживание меток
- обучение D на настоящих метках 0,8 вместо 1
- шум экземпляров
- шум, добавляемый ко всему, что видит D, уменьшающийся до 0 по ходу обучения
- спектральная нормализация
- деление каждой матрицы весов D на её наибольшее растяжение
Напишите verdict(trick), возвращающую "helped", "hurt" или "no clear change" по записанным прогонам. Затем заполните report вашим вердиктом для каждого из пяти прогонов с трюками.
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.