Aprender a predecir el ruido
Por qué importa Toda la receta de entrenamiento de un modelo de difusión cabe en cinco líneas, y es una regresión normal: enséñale a la red un punto con ruido y el paso, y pídele el ruido. Sin juego, sin segunda red.
Un paso de entrenamiento:
- Toma un lote de puntos reales x0 y, para cada uno, un paso aleatorio t y ruido nuevo eps.
- Salta a x_t con el atajo.
- Pídele el ruido a la red:
model.predict(x_t, t). - Pérdida = la media de (ruido predicho - eps) al cuadrado.
- Hacia atrás, paso.
Predice la curva
Antes de ejecutar, adivina la pérdida en tres momentos: durante los 10 primeros pasos, hacia el paso 300 y hacia el paso 3000. Dos referencias: una red que siempre predice 0 puntúa exactamente 1 (el ruido tiene dispersión 1), y una red perfecta no puede llegar a 0, porque en los pasos con mucho ruido el ruido es fácil de adivinar pero en los pasos casi limpios es casi imposible.
Dónde está ahora el campo Predecir el ruido es, salvo una escala, lo mismo que estimar la puntuación (score): la dirección en la que los datos con ruido se vuelven más probables (Song y Ermon 2019; Ho et al. 2020). Por eso las flechas apuntan a casa. Los generadores de imágenes reales no añaden ruido a los píxeles: primero comprimen cada imagen con un autocodificador, como en el Módulo 15, y ejecutan la difusión con los códigos pequeños (difusión latente, Rombach et al. 2022). Todo lo de este módulo se traslada; solo cambia el espacio.
Palabras y símbolos de esta lección
- modelo de difusión
- una red entrenada para quitar ruido poco a poco; ejecutada hacia atrás a partir de ruido puro, genera
- x0, x_t
- los datos limpios, y los mismos datos después de t pasos de ruido
- eps
- el ruido en forma de campana que se añadió; la red aprende a predecirlo
- en la forma, cobertura
- el juez 2D: la proporción de muestras cerca de la forma real, y la proporción de la forma con una muestra cerca
Rellena my_guess, y luego escribe el cuerpo del bucle (3000 pasos de 256 puntos de la espiral; difflab.shape('spiral', 256, rng), difflab.add_noise). Añade la pérdida de cada paso a losses. Apruebas con una pérdida final por debajo de 0.40 y muestras de al menos 0.75 en la forma.
¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección
Este ejercicio se abre pronto
Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.
Este navegador está bloqueando las cookies de learn.floati.life, así que las lecciones que terminaste aquí no se pueden abrir en orden. Permite las cookies de este sitio y recarga.