Программа курса Урок 185 из 246 · Модуль 17: На входе шум, на выходе картинки (диффузия)
Модуль 17: На входе шум, на выходе картинки (диффузия)

От шума к спирали (DDPM)

Почему это важно Это момент, когда шум становится данными. Начните с чистого шума и сделайте 100 маленьких шагов назад, каждый раз используя сеть один раз. Цикл, который вы здесь напишете, по форме тот же, что рисует картинки в сегодняшних генераторах изображений.

Один шаг назад от x_t к x_(t-1) по-DDPM:

  1. Предскажите шум и по нему чистую оценку x0 (прошлый урок).
  2. Обрежьте x0 до диапазона, который могут иметь настоящие данные (здесь от -3 до 3).
  3. Перейдите в точное среднее того, где был бы x_(t-1) при данных x_t и x0:
    mean = (sqrt(abar_(t-1)) beta_t / (1 - abar_t)) x0 + (sqrt(1 - beta_t) (1 - abar_(t-1)) / (1 - abar_t)) x_t
  4. Добавьте свежий шум с разбросом sqrt(beta_t (1 - abar_(t-1)) / (1 - abar_t)), кроме последнего шага. (abar_(-1) считается равным 1.)

Зачем обрезка? Курс выяснил это на собственном горьком опыте. На последних нескольких шагах косинусного расписания beta доходит до 0.999, поэтому простой шаг умножает любую ошибку в предсказанном шуме примерно в 30 раз. Без обрезки модель цифр курса рисовала картинки, более близкие к перемешанным пикселям, чем к цифрам (близость 4.68). С ней - 1.09.

Слова и символы этого урока
расписание шума (beta)
сколько свежего шума подмешивается на каждом шаге
abar
доля исходного сигнала, оставшаяся после нескольких шагов (её квадратный корень умножает x0)
x0, x_t
чистые данные и те же данные после t шагов шума
eps
добавленный колоколообразный шум; сеть учится его предсказывать
DDPM
сэмплирование шагами назад через каждый шаг, со свежим шумом каждый раз
on shape, coverage
судья для 2D: доля сэмплов рядом с настоящей фигурой и доля фигуры, рядом с которой есть сэмпл
Твоя очередь

Напишите step_back(x, eps_pred, t, beta, abar, rng) ровно по четырём шагам выше (обрезать x0 до диапазона от -3 до 3, среднее, затем шум, кроме t = 0) и цикл сэмплирования generate(model, n, rng), который начинает с шума N(0, 1) на шаге 99 и идёт назад до 0. Задание пройдено при сэмплах хотя бы 0.8 на спирали и покрытии 0.95.

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.