Программа курса Урок 188 из 246 · Модуль 17: На входе шум, на выходе картинки (диффузия)
Модуль 17: На входе шум, на выходе картинки (диффузия)

Маленькая U-Net

Почему это важно Для картинок предсказатель шума в настоящих диффузионных моделях - U-Net: она сжимает картинку, чтобы увидеть крупные формы, затем выращивает её обратно до полного размера, а короткие пути переносят мелкие детали напрямую. Каждую часть вы уже знаете.

U-Net для картинок 8 × 8 с одним каналом:

  1. Вниз: свёртка 3 × 3 в 16 каналов, ReLU. Сохраните это как skip (8 × 8 × 16). Затем average pooling 2 × 2 до 4 × 4.
  2. Середина: свёртка 3 × 3 в 32 канала, ReLU (4 × 4 × 32): каждый нейрон теперь видит широкую область.
  3. Вверх: увеличение до 8 × 8, затем соединение со skip по каналам (E.concat): 8 × 8 × 48.
  4. Свёртка 3 × 3 в 16 каналов, ReLU, затем свёртка 3 × 3 в 1 канал: предсказанный шум того же размера, что и вход.

Skip-соединение - ключевая идея U-Net: путь вниз выбрасывает детали, чтобы увидеть форму, а skip передаёт эти детали прямо пути вверх. Без него выход размыт.

Обучения здесь нет: вы строите сеть и доказываете, что она соединена правильно, формами и проверкой градиента, как проверяли слои в модуле 4.

Слова и символы этого урока
диффузионная модель
сеть, обученная убирать шум понемногу; запущенная назад из чистого шума, она генерирует
U-Net
сеть, которая сжимает картинку, чтобы увидеть формы, выращивает её обратно и передаёт детали через skip-соединения
Твоя очередь

Напишите unet(x, P) для x - E.T формы (n, 8, 8, 1), с весами в P, созданными стартовым кодом. Затем проверьте один градиент подталкиванием: присвойте max_gap наибольшую разницу между обратным распространением и подталкиванием по первым 5 числам P['up2'][0]. Движок работает в float32, поэтому подталкивайте на h = 1e-3 или больше: при 1e-4 изменение потерь теряется в округлении, и правильный градиент выглядит неправильным.

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.