Программа курса Урок 186 из 246 · Модуль 17: На входе шум, на выходе картинки (диффузия)
Модуль 17: На входе шум, на выходе картинки (диффузия)

Расписания шума: потери ниже, сэмплы хуже

Почему это важно Потери - число, за которым вы следите, поэтому соблазнительно выбрать то, что делает их самыми низкими. Здесь этот инстинкт ровно ошибочен, и понимание почему учит тому, что измеряют потери.

Два расписания для тех же 100 шагов:

  • Линейное (исходная статья DDPM): beta растёт равномерно от 0.0001 до 0.02 × (1000 / T). При всего 100 шагах abar падает быстро: большинство шагов - почти чистый шум.
  • Косинусное (Nichol и Dhariwal, 2021): abar следует косинусной кривой, поэтому сигнал угасает равномерно по шагам.

Курс обучил оба на спирали, по 3 seed каждое (difflab.recorded()).

Сначала предскажите: какое расписание заканчивает с меньшими потерями на обучении и какое даёт сэмплы, лучше лежащие на спирали?

Слова и символы этого урока
расписание шума (beta)
сколько свежего шума подмешивается на каждом шаге
abar
доля исходного сигнала, оставшаяся после нескольких шагов (её квадратный корень умножает x0)
eps
добавленный колоколообразный шум; сеть учится его предсказывать
DDPM
сэмплирование шагами назад через каждый шаг, со свежим шумом каждый раз
on shape, coverage
судья для 2D: доля сэмплов рядом с настоящей фигурой и доля фигуры, рядом с которой есть сэмпл
Твоя очередь

Присвойте guess для обоих вопросов значение "linear" или "cosine". Затем заполните table средними итоговыми потерями и средним on shape каждого расписания по 3 записанным seed, и noisy_share: для каждого расписания долю из 100 шагов, где остаётся меньше 10% дисперсии сигнала (abar ниже 0.1; размер сигнала там - sqrt(abar), около 0.32). Наконец, задайте shows: те же два вопроса, отвеченные по вашей таблице. Ваша догадка остаётся такой, какой вы её сделали.

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.