От шума к спирали (DDPM)
Почему это важно Это момент, когда шум становится данными. Начните с чистого шума и сделайте 100 маленьких шагов назад, каждый раз используя сеть один раз. Цикл, который вы здесь напишете, по форме тот же, что рисует картинки в сегодняшних генераторах изображений.
Один шаг назад от x_t к x_(t-1) по-DDPM:
- Предскажите шум и по нему чистую оценку x0 (прошлый урок).
- Обрежьте x0 до диапазона, который могут иметь настоящие данные (здесь от -3 до 3).
- Перейдите в точное среднее того, где был бы x_(t-1) при данных x_t и x0:
mean = (sqrt(abar_(t-1)) beta_t / (1 - abar_t)) x0 + (sqrt(1 - beta_t) (1 - abar_(t-1)) / (1 - abar_t)) x_t - Добавьте свежий шум с разбросом
sqrt(beta_t (1 - abar_(t-1)) / (1 - abar_t)), кроме последнего шага. (abar_(-1) считается равным 1.)
Зачем обрезка? Курс выяснил это на собственном горьком опыте. На последних нескольких шагах косинусного расписания beta доходит до 0.999, поэтому простой шаг умножает любую ошибку в предсказанном шуме примерно в 30 раз. Без обрезки модель цифр курса рисовала картинки, более близкие к перемешанным пикселям, чем к цифрам (близость 4.68). С ней - 1.09.
Слова и символы этого урока
- расписание шума (beta)
- сколько свежего шума подмешивается на каждом шаге
- abar
- доля исходного сигнала, оставшаяся после нескольких шагов (её квадратный корень умножает x0)
- x0, x_t
- чистые данные и те же данные после t шагов шума
- eps
- добавленный колоколообразный шум; сеть учится его предсказывать
- DDPM
- сэмплирование шагами назад через каждый шаг, со свежим шумом каждый раз
- on shape, coverage
- судья для 2D: доля сэмплов рядом с настоящей фигурой и доля фигуры, рядом с которой есть сэмпл
Напишите step_back(x, eps_pred, t, beta, abar, rng) ровно по четырём шагам выше (обрезать x0 до диапазона от -3 до 3, среднее, затем шум, кроме t = 0) и цикл сэмплирования generate(model, n, rng), который начинает с шума N(0, 1) на шаге 99 и идёт назад до 0. Задание пройдено при сэмплах хотя бы 0.8 на спирали и покрытии 0.95.
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.