Temario Lección 173 de 246 · Módulo 15: Comprimir, reconstruir, generar (autocodificadores y VAE)
Módulo 15: Comprimir, reconstruir, generar (autocodificadores y VAE)

Tu VAE crea dígitos nuevos

Por qué importa Todas las piezas están listas: el mu y el logvar del codificador, el truco para muestrear a través, la pérdida de reconstrucción y la KL. Ponlas en un solo paso de entrenamiento y tienes un modelo que crea dígitos que nadie dibujó.

Un paso de entrenamiento, en palabras:

  1. Codifica un lote: mu, logvar = model.encode(E.T(x)).
  2. Saca eps de N(0, 1) con la forma de mu, y crea el código con tu reparametrización.
  3. Decodifica el código a puntuaciones de píxeles: model.decode_logits(code).
  4. Pérdida = E.bce_with_logits(scores, x) + E.kl_to_standard(mu, logvar) (la versión del motor de la casa de tu KL).
  5. Hacia atrás, y luego opt.step().

Luego júzgalo con el mismo juez de antes: la cercanía y la variedad de 500 dígitos nuevos sacados de N(0, 1). El error de reconstrucción será peor que el del autocodificador (unos 0.03 frente a 0.008). Ese es el precio del tirón 2, y compra un espacio de códigos del que se puede muestrear.

Palabras y símbolos de esta lección
autocodificador
un codificador que comprime una imagen en unos pocos números y un decodificador que la reconstruye
código (latente)
los pocos números que el codificador saca de una imagen
VAE
autocodificador variacional: un autocodificador cuyos códigos se empujan para llenar N(0, 1), así que los códigos aleatorios se decodifican en imágenes nuevas
mu, logvar
el centro y el log de la dispersión al cuadrado de un número del código en un VAE
reparametrización
código = mu + exp(logvar / 2) x eps, con eps sacado primero, para que los gradientes lleguen a mu y logvar
cercanía, variedad
el juez del curso: la distancia al dígito real más cercano, y los bits de reparto entre los diez dígitos
Tu turno

Escribe el cuerpo del bucle de entrenamiento (600 pasos de 256 imágenes). Apruebas con: error de reconstrucción de prueba por debajo de 0.035, dígitos nuevos con una cercanía de como mucho 1.30 y una variedad de al menos 3.0, y al menos 3 números del código activos. Usa tu propio bucle: aquí gen.train_vae está prohibido.

¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección

Este ejercicio se abre pronto

Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.