Temario Lección 175 de 246 · Módulo 15: Comprimir, reconstruir, generar (autocodificadores y VAE)
Módulo 15: Comprimir, reconstruir, generar (autocodificadores y VAE)

Prueba de paso: el VAE que dibuja un solo dígito (IA apagada)

Por qué importa Este fallo tiene nombre, colapso del posterior, y es tan común que cualquier modelo generativo que construyas después puede toparse con alguna versión de él. Aquí lo diagnosticas y lo arreglas tú solo.

Reglas de la prueba de paso: tutor de IA apagado. Ejecuta el código inicial y mira lo que crea el VAE roto. Puedes entrenar todas las variaciones que quieras con gen.train_vae(...) y juzgarlas con gen.judge, active_units() y el error de reconstrucción.

Hay tres ajustes, cada uno con una razón para probarlo:

  • weight: la fuerza del tirón 2 (la KL), 1 por defecto.
  • warmup_steps: empieza con peso 0 y súbelo por igual hasta weight a lo largo de estos pasos (el entrenamiento son 600 pasos).
  • free_bits: un suelo por número del código. Un número cuya KL está por debajo del suelo paga el suelo y no recibe empujón hacia el centro, así que el modelo se puede permitir usarlo.

Leerás por internet que calentar el peso poco a poco es el arreglo estándar. Averigua si lo es aquí.

La comprobación vuelve a entrenar tu arreglo con una semilla nueva y solo lo aprueba si se cumplen las cuatro cosas: error de reconstrucción de prueba por debajo de 0.035, al menos 3 números del código activos, dígitos nuevos con una cercanía de como mucho 1.33 y una variedad de al menos 3.0.

Palabras y símbolos de esta lección
código (latente)
los pocos números que el codificador saca de una imagen
VAE
autocodificador variacional: un autocodificador cuyos códigos se empujan para llenar N(0, 1), así que los códigos aleatorios se decodifican en imágenes nuevas
mu, logvar
el centro y el log de la dispersión al cuadrado de un número del código en un VAE
cercanía, variedad
el juez del curso: la distancia al dígito real más cercano, y los bits de reparto entre los diez dígitos
colapso del posterior
un VAE cuyos códigos se vuelven todos N(0, 1) y no llevan nada; dibuja una sola imagen media
Tu turno

Pon en diagnosis una letra y en fix un dict de ajustes para gen.train_vae que cure el colapso.

IA desactivada: en este no hay tutor, pistas ni solución. Solo tu propio razonamiento.

¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección

Este ejercicio se abre pronto

Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.