Prueba de paso: el VAE que dibuja un solo dígito (IA apagada)
Por qué importa Este fallo tiene nombre, colapso del posterior, y es tan común que cualquier modelo generativo que construyas después puede toparse con alguna versión de él. Aquí lo diagnosticas y lo arreglas tú solo.
Reglas de la prueba de paso: tutor de IA apagado. Ejecuta el código inicial y mira lo que crea el VAE roto. Puedes entrenar todas las variaciones que quieras con gen.train_vae(...) y juzgarlas con gen.judge, active_units() y el error de reconstrucción.
Hay tres ajustes, cada uno con una razón para probarlo:
weight: la fuerza del tirón 2 (la KL), 1 por defecto.warmup_steps: empieza con peso 0 y súbelo por igual hastaweighta lo largo de estos pasos (el entrenamiento son 600 pasos).free_bits: un suelo por número del código. Un número cuya KL está por debajo del suelo paga el suelo y no recibe empujón hacia el centro, así que el modelo se puede permitir usarlo.
Leerás por internet que calentar el peso poco a poco es el arreglo estándar. Averigua si lo es aquí.
La comprobación vuelve a entrenar tu arreglo con una semilla nueva y solo lo aprueba si se cumplen las cuatro cosas: error de reconstrucción de prueba por debajo de 0.035, al menos 3 números del código activos, dígitos nuevos con una cercanía de como mucho 1.33 y una variedad de al menos 3.0.
Palabras y símbolos de esta lección
- código (latente)
- los pocos números que el codificador saca de una imagen
- VAE
- autocodificador variacional: un autocodificador cuyos códigos se empujan para llenar N(0, 1), así que los códigos aleatorios se decodifican en imágenes nuevas
- mu, logvar
- el centro y el log de la dispersión al cuadrado de un número del código en un VAE
- cercanía, variedad
- el juez del curso: la distancia al dígito real más cercano, y los bits de reparto entre los diez dígitos
- colapso del posterior
- un VAE cuyos códigos se vuelven todos N(0, 1) y no llevan nada; dibuja una sola imagen media
Pon en diagnosis una letra y en fix un dict de ajustes para gen.train_vae que cure el colapso.
IA desactivada: en este no hay tutor, pistas ni solución. Solo tu propio razonamiento.
¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección
Este ejercicio se abre pronto
Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.
Este navegador está bloqueando las cookies de learn.floati.life, así que las lecciones que terminaste aquí no se pueden abrir en orden. Permite las cookies de este sitio y recarga.