Добавление шума, шаг за шагом
Почему это важно Генераторы изображений, стоящие за сегодняшним ИИ-искусством, работают от шума назад. Чтобы научиться убирать шум, сеть сначала должна точно видеть, как его добавляли. Эта прямая половина - чистая арифметика, и у неё есть сокращение, которое делает обучение возможным.
Возьмите чистую точку x0 (значение пикселя или точку в 2D). На каждом из T = 100 шагов немного сожмите её и добавьте немного свежего шума:
x_t = sqrt(1 - beta_t) x_(t-1) + sqrt(beta_t) eps, где eps взят из N(0, 1)
Список beta_0 ... beta_99 - это расписание шума. Смотрите сцену: спираль точек растворяется в круглое облако шума.
Сокращение
Снова и снова сжимать и добавлять колоколообразный шум - то же самое, что сделать это один раз с итоговыми величинами. Обозначьте abar_t произведение всех множителей (1 - beta) до шага t. Тогда
x_t = sqrt(abar_t) x0 + sqrt(1 - abar_t) eps
за один раз: оставшийся сигнал - sqrt(abar_t), разброс шума - sqrt(1 - abar_t). Обучение может мгновенно прыгнуть на любой шаг вместо того, чтобы идти туда пешком.
Маленькие числа
Два шага с beta = 0.1 каждый: abar = 0.9 × 0.9 = 0.81. Из x0 = 1 оставшийся сигнал - sqrt(0.81) = 0.9, а разброс шума - sqrt(0.19) = 0.44. Пешком: после шага 1 - 0.949 × 1 плюс шум с разбросом 0.316; после шага 2 всё снова сжимается в 0.949 раза и добавляется свежий шум с разбросом 0.316. Разбросы складываются как квадраты: 0.949^2 × 0.1 + 0.1 = 0.19. Тот же ответ.
Слова и символы этого урока
- расписание шума (beta)
- сколько свежего шума подмешивается на каждом шаге
- abar
- доля исходного сигнала, оставшаяся после нескольких шагов (её квадратный корень умножает x0)
- x0, x_t
- чистые данные и те же данные после t шагов шума
- eps
- добавленный колоколообразный шум; сеть учится его предсказывать
Напишите walk(x0, t, beta, rng) (по одному шагу, t + 1 шагов от шага 0 до шага t) и jump(x0, t, abar, eps) (сокращение). Затем зашумите 20000 копий точки (1.0, -0.5) до шага 40 обоими способами и заполните stats средним и разбросом каждой версии (по каждой координате) рядом с тем, что должно получиться по расписанию.
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.