Программа курса Урок 184 из 246 · Модуль 17: На входе шум, на выходе картинки (диффузия)
Модуль 17: На входе шум, на выходе картинки (диффузия)

Учимся предсказывать шум

Почему это важно Весь рецепт обучения диффузионной модели умещается в пять строк, и это обычная регрессия: покажите сети зашумлённую точку и шаг, попросите шум. Никакой игры, никакой второй сети.

Один шаг обучения:

  1. Возьмите батч настоящих точек x0 и для каждой - случайный шаг t и свежий шум eps.
  2. Прыгните к x_t по сокращению.
  3. Попросите у сети шум: model.predict(x_t, t).
  4. Потери = среднее от (предсказанный шум - eps) в квадрате.
  5. Обратный проход, шаг.

Угадайте кривую

Перед запуском угадайте потери в три момента: за первые 10 шагов, около шага 300 и около шага 3000. Две опоры: сеть, всегда предсказывающая 0, получает ровно 1 (у шума разброс 1), а идеальная сеть не может дойти до 0, потому что на очень шумных шагах шум легко угадать, а на почти чистых шагах - почти невозможно.

Где сейчас область Предсказывать шум - с точностью до масштаба то же, что оценивать score: направление, в котором зашумлённые данные становятся вероятнее (Song и Ermon 2019; Ho и др. 2020). Вот почему стрелки указывают домой. Настоящие генераторы изображений не добавляют шум к пикселям: сначала они сжимают каждую картинку автоэнкодером, как в модуле 15, и запускают диффузию на маленьких кодах (латентная диффузия, Rombach и др. 2022). Всё в этом модуле переносится; меняется только пространство.

Слова и символы этого урока
диффузионная модель
сеть, обученная убирать шум понемногу; запущенная назад из чистого шума, она генерирует
x0, x_t
чистые данные и те же данные после t шагов шума
eps
добавленный колоколообразный шум; сеть учится его предсказывать
on shape, coverage
судья для 2D: доля сэмплов рядом с настоящей фигурой и доля фигуры, рядом с которой есть сэмпл
Твоя очередь

Заполните my_guess, затем напишите тело цикла (3000 шагов по 256 точек спирали; difflab.shape('spiral', 256, rng), difflab.add_noise). Добавляйте потери каждого шага в losses. Задание пройдено при итоговых потерях ниже 0.40 и сэмплах хотя бы 0.75 on shape.

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.