Temario Lección 188 de 246 · Módulo 17: Entra ruido, salen imágenes (difusión)
Módulo 17: Entra ruido, salen imágenes (difusión)

Una U-Net pequeña

Por qué importa Para imágenes, el predictor de ruido de los modelos de difusión reales es una U-Net: reduce la imagen para ver las formas grandes, luego la vuelve a hacer crecer hasta el tamaño completo, con atajos que llevan el detalle fino al otro lado. Ya conoces todas las piezas.

Una U-Net para imágenes de 8 x 8 con un canal:

  1. Bajada: conv de 3 x 3 a 16 canales, ReLU. Guarda esto como skip (8 x 8 x 16). Luego un pooling de media de 2 x 2 a 4 x 4.
  2. Centro: conv de 3 x 3 a 32 canales, ReLU (4 x 4 x 32): cada unidad ve ahora una zona amplia.
  3. Subida: amplía a 8 x 8, y luego únelo con skip a lo largo de los canales (E.concat): 8 x 8 x 48.
  4. Conv de 3 x 3 a 16 canales, ReLU, y luego una conv de 3 x 3 a 1 canal: el ruido predicho, del mismo tamaño que la entrada.

La conexión de salto es la idea clave de la U-Net: el camino de bajada tira el detalle para ver la forma, y el salto le pasa ese detalle directamente al camino de subida. Sin él, la salida sale borrosa.

Aquí no hay entrenamiento: la construyes y demuestras que está bien conectada, con las formas y una comprobación de gradientes, como comprobabas las capas en el Módulo 4.

Palabras y símbolos de esta lección
modelo de difusión
una red entrenada para quitar ruido poco a poco; ejecutada hacia atrás a partir de ruido puro, genera
U-Net
una red que reduce una imagen para ver las formas, la vuelve a hacer crecer, y pasa el detalle al otro lado por conexiones de salto
Tu turno

Escribe unet(x, P) para x un E.T de forma (n, 8, 8, 1), con los pesos en P tal como los crea el código inicial. Luego comprueba un gradiente empujando: pon en max_gap la mayor diferencia entre la retropropagación y el empujón sobre los 5 primeros números de P['up2'][0]. El motor trabaja en float32, así que empuja con h = 1e-3 o más: con 1e-4 el cambio de la pérdida se pierde en el redondeo y un gradiente correcto parece equivocado.

¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección

Este ejercicio se abre pronto

Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.