Temario Lección 182 de 246 · Módulo 17: Entra ruido, salen imágenes (difusión)
Módulo 17: Entra ruido, salen imágenes (difusión)

Añadir ruido, paso a paso

Por qué importa Los generadores de imágenes que hay detrás del arte con IA de hoy trabajan hacia atrás a partir del ruido. Para aprender a quitar ruido, una red necesita ver primero exactamente cómo se añadió. Esa mitad hacia delante es aritmética pura, y tiene un atajo que hace posible el entrenamiento.

Toma un punto limpio x0 (el valor de un píxel, o un punto en 2D). En cada uno de T = 100 pasos, encógelo un poco y añádele un poco de ruido nuevo:

x_t = sqrt(1 - beta_t) x_(t-1) + sqrt(beta_t) eps, con eps sacado de N(0, 1)

La lista beta_0 ... beta_99 es el calendario de ruido. Mira la escena: una espiral de puntos se disuelve en una nube redonda de ruido.

El atajo

Encoger y añadir ruido en forma de campana una y otra vez es lo mismo que hacerlo una vez con los totales. Llama abar_t al producto de todos los factores (1 - beta) hasta el paso t. Entonces

x_t = sqrt(abar_t) x0 + sqrt(1 - abar_t) eps

de una sola vez: la señal que queda es sqrt(abar_t), la dispersión del ruido es sqrt(1 - abar_t). El entrenamiento puede saltar a cualquier paso al instante, en vez de ir caminando hasta allí.

Números diminutos

Dos pasos con beta = 0.1 cada uno: abar = 0.9 x 0.9 = 0.81. Desde x0 = 1 la señal que queda es sqrt(0.81) = 0.9 y la dispersión del ruido es sqrt(0.19) = 0.44. Caminando: después del paso 1, 0.949 x 1 más ruido de dispersión 0.316; después del paso 2, todo vuelve a encoger por 0.949 y se suma ruido nuevo de dispersión 0.316. Las dispersiones se suman al cuadrado: 0.949^2 x 0.1 + 0.1 = 0.19. La misma respuesta.

Palabras y símbolos de esta lección
calendario de ruido (beta)
cuánto ruido nuevo se mezcla en cada paso
abar
la parte de la señal original que queda después de un número de pasos (su raíz cuadrada multiplica a x0)
x0, x_t
los datos limpios, y los mismos datos después de t pasos de ruido
eps
el ruido en forma de campana que se añadió; la red aprende a predecirlo
Tu turno

Escribe walk(x0, t, beta, rng) (un paso cada vez, t + 1 pasos del paso 0 al paso t) y jump(x0, t, abar, eps) (el atajo). Luego añade ruido a 20000 copias del punto (1.0, -0.5) hasta el paso 40 de las dos maneras y rellena stats con la media y la dispersión de cada versión (por coordenada) al lado de lo que dice el calendario que deberían ser.

¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección

Este ejercicio se abre pronto

Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.