Temario Lección 184 de 246 · Módulo 17: Entra ruido, salen imágenes (difusión)
Módulo 17: Entra ruido, salen imágenes (difusión)

Aprender a predecir el ruido

Por qué importa Toda la receta de entrenamiento de un modelo de difusión cabe en cinco líneas, y es una regresión normal: enséñale a la red un punto con ruido y el paso, y pídele el ruido. Sin juego, sin segunda red.

Un paso de entrenamiento:

  1. Toma un lote de puntos reales x0 y, para cada uno, un paso aleatorio t y ruido nuevo eps.
  2. Salta a x_t con el atajo.
  3. Pídele el ruido a la red: model.predict(x_t, t).
  4. Pérdida = la media de (ruido predicho - eps) al cuadrado.
  5. Hacia atrás, paso.

Predice la curva

Antes de ejecutar, adivina la pérdida en tres momentos: durante los 10 primeros pasos, hacia el paso 300 y hacia el paso 3000. Dos referencias: una red que siempre predice 0 puntúa exactamente 1 (el ruido tiene dispersión 1), y una red perfecta no puede llegar a 0, porque en los pasos con mucho ruido el ruido es fácil de adivinar pero en los pasos casi limpios es casi imposible.

Dónde está ahora el campo Predecir el ruido es, salvo una escala, lo mismo que estimar la puntuación (score): la dirección en la que los datos con ruido se vuelven más probables (Song y Ermon 2019; Ho et al. 2020). Por eso las flechas apuntan a casa. Los generadores de imágenes reales no añaden ruido a los píxeles: primero comprimen cada imagen con un autocodificador, como en el Módulo 15, y ejecutan la difusión con los códigos pequeños (difusión latente, Rombach et al. 2022). Todo lo de este módulo se traslada; solo cambia el espacio.

Palabras y símbolos de esta lección
modelo de difusión
una red entrenada para quitar ruido poco a poco; ejecutada hacia atrás a partir de ruido puro, genera
x0, x_t
los datos limpios, y los mismos datos después de t pasos de ruido
eps
el ruido en forma de campana que se añadió; la red aprende a predecirlo
en la forma, cobertura
el juez 2D: la proporción de muestras cerca de la forma real, y la proporción de la forma con una muestra cerca
Tu turno

Rellena my_guess, y luego escribe el cuerpo del bucle (3000 pasos de 256 puntos de la espiral; difflab.shape('spiral', 256, rng), difflab.add_noise). Añade la pérdida de cada paso a losses. Apruebas con una pérdida final por debajo de 0.40 y muestras de al menos 0.75 en la forma.

¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección

Este ejercicio se abre pronto

Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.