Conteúdo do curso Lição 188 de 246 · Módulo 17: Ruído entra, imagens saem (difusão)
Módulo 17: Ruído entra, imagens saem (difusão)

Uma pequena U-Net

Por que isso importa Para imagens, o preditor de ruído em modelos de difusão reais é um U-Net: ele comprime a imagem para ver as formas grandes, depois a expande de volta ao tamanho total, com atalhos que carregam o detalhe fino. Você já conhece cada peça.

A U-Net para imagens 8 x 8 com um canal:

  1. Down: conv 3 x 3 para 16 canais, ReLU. Mantenha isso como skip (8 x 8 x 16). Depois, average pool 2 x 2 para 4 x 4.
  2. Middle: conv 3 x 3 para 32 canais, ReLU (4 x 4 x 32): cada unidade agora vê uma área ampla.
  3. Up: upsample para 8 x 8, depois junte com skip ao longo dos canais (E.concat): 8 x 8 x 48.
  4. 3 x 3 conv para 16 canais, ReLU, depois uma 3 x 3 conv para 1 canal: o ruído previsto, mesmo tamanho que a entrada.

A conexão de salto é a ideia principal da U-Net: o caminho de descida descarta detalhes para ver a forma, e o salto entrega esses detalhes direto para o caminho de subida. Sem isso, a saída fica borrada.

Sem treinamento aqui: você constrói e prova que está conectado corretamente, com formas e uma verificação de gradiente, do jeito que você verificou as layers no Module 4.

Palavras e símbolos nesta lição
modelo de difusão
a rede treinada para remover ruído aos poucos; rodando de trás para frente a partir do ruído puro, ela gera
U-Net
uma rede que reduz uma imagem para ver formas, a expande de volta e passa detalhes através de skip connections
Sua vez

Escreva unet(x, P) para x e um E.T de shape (n, 8, 8, 1), com weights em P como feito pelo starter. Depois verifique um gradient por nudging: defina max_gap para a maior diferença entre backprop e nudging sobre os primeiros 5 números de P['up2'][0]. O engine funciona em float32, então faça o nudge por h = 1e-3 ou mais: com 1e-4 a mudança no loss é perdida no arredondamento e um gradient correto parece errado.

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.