Учимся предсказывать шум
Почему это важно Весь рецепт обучения диффузионной модели умещается в пять строк, и это обычная регрессия: покажите сети зашумлённую точку и шаг, попросите шум. Никакой игры, никакой второй сети.
Один шаг обучения:
- Возьмите батч настоящих точек x0 и для каждой - случайный шаг t и свежий шум eps.
- Прыгните к x_t по сокращению.
- Попросите у сети шум:
model.predict(x_t, t). - Потери = среднее от (предсказанный шум - eps) в квадрате.
- Обратный проход, шаг.
Угадайте кривую
Перед запуском угадайте потери в три момента: за первые 10 шагов, около шага 300 и около шага 3000. Две опоры: сеть, всегда предсказывающая 0, получает ровно 1 (у шума разброс 1), а идеальная сеть не может дойти до 0, потому что на очень шумных шагах шум легко угадать, а на почти чистых шагах - почти невозможно.
Где сейчас область Предсказывать шум - с точностью до масштаба то же, что оценивать score: направление, в котором зашумлённые данные становятся вероятнее (Song и Ermon 2019; Ho и др. 2020). Вот почему стрелки указывают домой. Настоящие генераторы изображений не добавляют шум к пикселям: сначала они сжимают каждую картинку автоэнкодером, как в модуле 15, и запускают диффузию на маленьких кодах (латентная диффузия, Rombach и др. 2022). Всё в этом модуле переносится; меняется только пространство.
Слова и символы этого урока
- диффузионная модель
- сеть, обученная убирать шум понемногу; запущенная назад из чистого шума, она генерирует
- x0, x_t
- чистые данные и те же данные после t шагов шума
- eps
- добавленный колоколообразный шум; сеть учится его предсказывать
- on shape, coverage
- судья для 2D: доля сэмплов рядом с настоящей фигурой и доля фигуры, рядом с которой есть сэмпл
Заполните my_guess, затем напишите тело цикла (3000 шагов по 256 точек спирали; difflab.shape('spiral', 256, rng), difflab.add_noise). Добавляйте потери каждого шага в losses. Задание пройдено при итоговых потерях ниже 0.40 и сэмплах хотя бы 0.75 on shape.
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.