Temario Lección 167 de 246 · Módulo 15: Comprimir, reconstruir, generar (autocodificadores y VAE)
Módulo 15: Comprimir, reconstruir, generar (autocodificadores y VAE)

Comprimir y reconstruir (autocodificadores)

Por qué importa Todas las redes hasta ahora convertían una imagen en una etiqueta. Este módulo convierte imágenes en imágenes nuevas. El primer paso es una red que comprime una imagen en unos pocos números y la reconstruye a partir de ellos. De esos pocos números saldrán las imágenes nuevas.

Un autocodificador son dos redes espalda con espalda. El codificador comprime un dígito de 64 píxeles en 16 números, su código. El decodificador reconstruye 64 píxeles a partir de esos 16 números. El entrenamiento pide una sola cosa: la imagen reconstruida debe coincidir con la original.

Nadie le dice qué deberían significar los 16 números. Tiene que encontrar por sí solo una descripción corta de un dígito, porque 16 números no pueden copiar sin más 64 píxeles.

Números diminutos

Un dígito de 64 píxeles se convierte en 16 números: una compresión de 4 a 1. Si los píxeles reconstruidos se desvían 0.09 de media, el error al cuadrado por píxel es de unos 0.008. Ese es el tamaño de error al que llegarás.

Cómo se mide la pérdida

Cada píxel es un número de 0 (en blanco) a 1 (tinta completa), así que la última capa del decodificador da una puntuación por píxel y la sigmoide la convierte en 0..1. La pérdida es la entropía cruzada binaria del Módulo 3, sumada sobre los 64 píxeles y promediada sobre el lote. El motor de la casa ya la tiene como E.bce_with_logits(scores, pictures): recibe las puntuaciones antes de la sigmoide, así que nunca toma el log de 0.

La salida también imprime imágenes como texto: gen.show(pictures) imprime cada dígito de 8x8 en tonos de en blanco a tinta completa.

Palabras y símbolos de esta lección
autocodificador
un codificador que comprime una imagen en unos pocos números y un decodificador que la reconstruye
código (latente)
los pocos números que el codificador saca de una imagen
mu, logvar
el centro y el log de la dispersión al cuadrado de un número del código en un VAE
Tu turno

Escribe encode(x): una capa densa con ReLU (P['e1']), y luego una capa densa a 16 números (P['e2']). Escribe decode(code) de la misma manera con P['d1'], ReLU y P['d2'], que devuelva las 64 puntuaciones antes de la sigmoide. El bucle de entrenamiento ya está escrito. Llega a un error de reconstrucción de prueba por debajo de 0.012 por píxel.

¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección

Este ejercicio se abre pronto

Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.