Temario Lección 185 de 246 · Módulo 17: Entra ruido, salen imágenes (difusión)
Módulo 17: Entra ruido, salen imágenes (difusión)

Del ruido a una espiral (DDPM)

Por qué importa Este es el momento en que el ruido se convierte en datos. Empieza con ruido puro y da 100 pasitos hacia atrás, usando la red una vez en cada uno. El bucle que escribes aquí es, en su forma, el que dibuja imágenes en los generadores de imágenes de hoy.

Un paso hacia atrás de x_t a x_(t-1), a la manera de DDPM:

  1. Predice el ruido, y a partir de él la estimación limpia x0 (la lección anterior).
  2. Recorta x0 al rango que pueden tener los datos reales (aquí de -3 a 3).
  3. Muévete a la media exacta de donde estaría x_(t-1), dados x_t y x0:
    mean = (sqrt(abar_(t-1)) beta_t / (1 - abar_t)) x0 + (sqrt(1 - beta_t) (1 - abar_(t-1)) / (1 - abar_t)) x_t
  4. Añade ruido nuevo de dispersión sqrt(beta_t (1 - abar_(t-1)) / (1 - abar_t)), salvo en el último paso. (abar_(-1) cuenta como 1).

¿Por qué recortar? El curso lo descubrió por las malas. En los últimos pasos del calendario coseno beta llega a 0.999, así que un paso normal multiplica cualquier error del ruido predicho unas 30 veces. Sin el recorte, el modelo de dígitos del curso dibujaba imágenes más parecidas a píxeles revueltos que a dígitos (cercanía 4.68). Con él, 1.09.

Palabras y símbolos de esta lección
calendario de ruido (beta)
cuánto ruido nuevo se mezcla en cada paso
abar
la parte de la señal original que queda después de un número de pasos (su raíz cuadrada multiplica a x0)
x0, x_t
los datos limpios, y los mismos datos después de t pasos de ruido
eps
el ruido en forma de campana que se añadió; la red aprende a predecirlo
DDPM
muestrear volviendo hacia atrás por todos los pasos, con ruido nuevo cada vez
en la forma, cobertura
el juez 2D: la proporción de muestras cerca de la forma real, y la proporción de la forma con una muestra cerca
Tu turno

Escribe step_back(x, eps_pred, t, beta, abar, rng) exactamente como los cuatro pasos de arriba (recorta x0 de -3 a 3, la media, y luego el ruido salvo en t = 0) y el bucle de muestreo generate(model, n, rng) que empieza con ruido N(0, 1) en el paso 99 y vuelve hacia atrás hasta el 0. Apruebas con muestras de al menos 0.8 en la espiral y una cobertura de 0.95.

¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección

Este ejercicio se abre pronto

Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.