Añadir ruido, paso a paso
Por qué importa Los generadores de imágenes que hay detrás del arte con IA de hoy trabajan hacia atrás a partir del ruido. Para aprender a quitar ruido, una red necesita ver primero exactamente cómo se añadió. Esa mitad hacia delante es aritmética pura, y tiene un atajo que hace posible el entrenamiento.
Toma un punto limpio x0 (el valor de un píxel, o un punto en 2D). En cada uno de T = 100 pasos, encógelo un poco y añádele un poco de ruido nuevo:
x_t = sqrt(1 - beta_t) x_(t-1) + sqrt(beta_t) eps, con eps sacado de N(0, 1)
La lista beta_0 ... beta_99 es el calendario de ruido. Mira la escena: una espiral de puntos se disuelve en una nube redonda de ruido.
El atajo
Encoger y añadir ruido en forma de campana una y otra vez es lo mismo que hacerlo una vez con los totales. Llama abar_t al producto de todos los factores (1 - beta) hasta el paso t. Entonces
x_t = sqrt(abar_t) x0 + sqrt(1 - abar_t) eps
de una sola vez: la señal que queda es sqrt(abar_t), la dispersión del ruido es sqrt(1 - abar_t). El entrenamiento puede saltar a cualquier paso al instante, en vez de ir caminando hasta allí.
Números diminutos
Dos pasos con beta = 0.1 cada uno: abar = 0.9 x 0.9 = 0.81. Desde x0 = 1 la señal que queda es sqrt(0.81) = 0.9 y la dispersión del ruido es sqrt(0.19) = 0.44. Caminando: después del paso 1, 0.949 x 1 más ruido de dispersión 0.316; después del paso 2, todo vuelve a encoger por 0.949 y se suma ruido nuevo de dispersión 0.316. Las dispersiones se suman al cuadrado: 0.949^2 x 0.1 + 0.1 = 0.19. La misma respuesta.
Palabras y símbolos de esta lección
- calendario de ruido (beta)
- cuánto ruido nuevo se mezcla en cada paso
- abar
- la parte de la señal original que queda después de un número de pasos (su raíz cuadrada multiplica a x0)
- x0, x_t
- los datos limpios, y los mismos datos después de t pasos de ruido
- eps
- el ruido en forma de campana que se añadió; la red aprende a predecirlo
Escribe walk(x0, t, beta, rng) (un paso cada vez, t + 1 pasos del paso 0 al paso t) y jump(x0, t, abar, eps) (el atajo). Luego añade ruido a 20000 copias del punto (1.0, -0.5) hasta el paso 40 de las dos maneras y rellena stats con la media y la dispersión de cada versión (por coordenada) al lado de lo que dice el calendario que deberían ser.
¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección
Este ejercicio se abre pronto
Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.
Este navegador está bloqueando las cookies de learn.floati.life, así que las lecciones que terminaste aquí no se pueden abrir en orden. Permite las cookies de este sitio y recarga.