Dos redes en un juego
Por qué importa Un VAE aprende a reconstruir imágenes y lo paga con desenfoque. Una GAN (red generativa antagónica) nunca reconstruye nada. Una red hace imágenes, una segunda las juzga, y cada una entrena contra la otra. Es la idea detrás de las primeras caras generadas que engañaron a la gente.
Los dos jugadores:
- El generador G convierte ruido aleatorio z en una muestra, G(z).
- El discriminador D mira una muestra y le da una puntuación (un logit). sigmoid(puntuación) es lo que cree de que la muestra sea real.
D entrena como cualquier clasificador: muestras reales etiquetadas con 1, generadas con 0, entropía cruzada binaria. G entrena para engañar a D. Hay dos formas de escribir la pérdida de G, y la diferencia decide si el entrenamiento llega siquiera a empezar:
- Saturante (el juego del artículo original): G minimiza log(1 - D(G(z))).
- No saturante: G minimiza -log D(G(z)). El mismo objetivo, "haz que D diga real".
Números diminutos: las pendientes
Llama f a la puntuación de D sobre una falsa, así que D(G(z)) = sigmoid(f). La pendiente de cada pérdida respecto a f es:
saturante: -sigmoid(f) no saturante: sigmoid(f) - 1
Al principio del entrenamiento D detecta las falsas con facilidad: D(G(z)) = 0.001. La pendiente saturante es entonces -0.001, casi nada de lo que aprender. La pendiente no saturante es -0.999, un empujón completo. Esa es la teoría. El curso midió cuándo importa: en el anillo sano las dos pérdidas entrenan (las 8 semillas grabadas); en un ajuste en el que D gana, la pérdida saturante no aprende nada.
Aquí todas las pérdidas usan trucos de log-sum-exp para que ningún logaritmo vea nunca un 0: log(sigmoid(f)) = -softplus(-f) y log(1 - sigmoid(f)) = -softplus(f), con softplus(a) = log(1 + e^a), calculado como np.logaddexp(0, a).
Palabras y símbolos de esta lección
- GAN
- red generativa antagónica: un generador y un discriminador entrenados el uno contra el otro
- generador (G)
- la red que convierte ruido en una muestra
- discriminador (D)
- la red que puntúa una muestra como real o generada
- pérdida saturante
- G minimiza log(1 - D(G(z))); su pendiente es casi 0 en cuanto D está seguro, así que G deja de aprender
Escribe las tres pérdidas como medias sobre un lote de puntuaciones: d_loss(real_scores, fake_scores), g_loss_saturating(fake_scores) y g_loss_nonsat(fake_scores). Luego rellena slopes: para cada D(G(z)) de 0.001, 0.1 y 0.5, la pendiente de cada pérdida del generador respecto a la puntuación de la falsa (para una muestra).
¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección
Este ejercicio se abre pronto
Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.
Este navegador está bloqueando las cookies de learn.floati.life, así que las lecciones que terminaste aquí no se pueden abrir en orden. Permite las cookies de este sitio y recarga.