Направление сэмпла (classifier-free guidance)
Почему это важно "Нарисуй 7" работает благодаря одной строке арифметики. Каждая модель text-to-image использует её, чтобы картинки следовали промпту, и та же строка объясняет, почему, если выкрутить её слишком сильно, картинки становятся хуже.
Модель цифр обучалась со своей меткой, а в 15% случаев со скрытой меткой (токен "без метки", difflab.NULL). Поэтому одна сеть умеет предсказывать шум обоими способами. Classifier-free guidance (Ho и Salimans, 2022) смешивает их:
eps = (1 + w) eps_with_label - w eps_without_label
Разность eps_with_label - eps_without_label указывает в сторону "больше похоже на эту метку". w = 0 - обычное условное сэмплирование; чем больше w, тем сильнее толчок. Смотрите сцену: тот же шум, нарисованный с w = 0, 1, 2 и 4.
Слова и символы этого урока
- eps
- добавленный колоколообразный шум; сеть учится его предсказывать
- DDIM
- сэмплирование прыжками между несколькими шагами, без свежего шума
- classifier-free guidance
- (1 + w) × шум, предсказанный с меткой, - w × шум, предсказанный без неё
Напишите guided(model, x, t, labels, w). Затем заполните table: для w = 0, 1, 2 и 4 - долю из 500 сэмплов (20 шагов DDIM, которые, как показал прошлый урок, не хуже 100 шагов DDIM), читающихся как запрошенная цифра, и их близость. Присвойте best_w то w с лучшей (наименьшей) близостью среди тех, что достигают хотя бы 0.99 запрошенных.
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.