Программа курса Урок 190 из 246 · Модуль 17: На входе шум, на выходе картинки (диффузия)
Модуль 17: На входе шум, на выходе картинки (диффузия)

Направление сэмпла (classifier-free guidance)

Почему это важно "Нарисуй 7" работает благодаря одной строке арифметики. Каждая модель text-to-image использует её, чтобы картинки следовали промпту, и та же строка объясняет, почему, если выкрутить её слишком сильно, картинки становятся хуже.

Модель цифр обучалась со своей меткой, а в 15% случаев со скрытой меткой (токен "без метки", difflab.NULL). Поэтому одна сеть умеет предсказывать шум обоими способами. Classifier-free guidance (Ho и Salimans, 2022) смешивает их:

eps = (1 + w) eps_with_label - w eps_without_label

Разность eps_with_label - eps_without_label указывает в сторону "больше похоже на эту метку". w = 0 - обычное условное сэмплирование; чем больше w, тем сильнее толчок. Смотрите сцену: тот же шум, нарисованный с w = 0, 1, 2 и 4.

Слова и символы этого урока
eps
добавленный колоколообразный шум; сеть учится его предсказывать
DDIM
сэмплирование прыжками между несколькими шагами, без свежего шума
classifier-free guidance
(1 + w) × шум, предсказанный с меткой, - w × шум, предсказанный без неё
Твоя очередь

Напишите guided(model, x, t, labels, w). Затем заполните table: для w = 0, 1, 2 и 4 - долю из 500 сэмплов (20 шагов DDIM, которые, как показал прошлый урок, не хуже 100 шагов DDIM), читающихся как запрошенная цифра, и их близость. Присвойте best_w то w с лучшей (наименьшей) близостью среди тех, что достигают хотя бы 0.99 запрошенных.

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.