Uma pequena U-Net
Por que isso importa Para imagens, o preditor de ruído em modelos de difusão reais é um U-Net: ele comprime a imagem para ver as formas grandes, depois a expande de volta ao tamanho total, com atalhos que carregam o detalhe fino. Você já conhece cada peça.
A U-Net para imagens 8 x 8 com um canal:
- Down: conv 3 x 3 para 16 canais, ReLU. Mantenha isso como
skip(8 x 8 x 16). Depois, average pool 2 x 2 para 4 x 4. - Middle: conv 3 x 3 para 32 canais, ReLU (4 x 4 x 32): cada unidade agora vê uma área ampla.
- Up: upsample para 8 x 8, depois junte com
skipao longo dos canais (E.concat): 8 x 8 x 48. - 3 x 3 conv para 16 canais, ReLU, depois uma 3 x 3 conv para 1 canal: o ruído previsto, mesmo tamanho que a entrada.
A conexão de salto é a ideia principal da U-Net: o caminho de descida descarta detalhes para ver a forma, e o salto entrega esses detalhes direto para o caminho de subida. Sem isso, a saída fica borrada.
Sem treinamento aqui: você constrói e prova que está conectado corretamente, com formas e uma verificação de gradiente, do jeito que você verificou as layers no Module 4.
Palavras e símbolos nesta lição
- modelo de difusão
- a rede treinada para remover ruído aos poucos; rodando de trás para frente a partir do ruído puro, ela gera
- U-Net
- uma rede que reduz uma imagem para ver formas, a expande de volta e passa detalhes através de skip connections
Escreva unet(x, P) para x e um E.T de shape (n, 8, 8, 1), com weights em P como feito pelo starter. Depois verifique um gradient por nudging: defina max_gap para a maior diferença entre backprop e nudging sobre os primeiros 5 números de P['up2'][0]. O engine funciona em float32, então faça o nudge por h = 1e-3 ou mais: com 1e-4 a mudança no loss é perdida no arredondamento e um gradient correto parece errado.
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.