Temario Lección 176 de 246 · Módulo 16: Dos redes en un juego (GAN, opcional)
Módulo 16: Dos redes en un juego (GAN, opcional)

Dos redes en un juego

Por qué importa Un VAE aprende a reconstruir imágenes y lo paga con desenfoque. Una GAN (red generativa antagónica) nunca reconstruye nada. Una red hace imágenes, una segunda las juzga, y cada una entrena contra la otra. Es la idea detrás de las primeras caras generadas que engañaron a la gente.

Los dos jugadores:

  • El generador G convierte ruido aleatorio z en una muestra, G(z).
  • El discriminador D mira una muestra y le da una puntuación (un logit). sigmoid(puntuación) es lo que cree de que la muestra sea real.

D entrena como cualquier clasificador: muestras reales etiquetadas con 1, generadas con 0, entropía cruzada binaria. G entrena para engañar a D. Hay dos formas de escribir la pérdida de G, y la diferencia decide si el entrenamiento llega siquiera a empezar:

  • Saturante (el juego del artículo original): G minimiza log(1 - D(G(z))).
  • No saturante: G minimiza -log D(G(z)). El mismo objetivo, "haz que D diga real".

Números diminutos: las pendientes

Llama f a la puntuación de D sobre una falsa, así que D(G(z)) = sigmoid(f). La pendiente de cada pérdida respecto a f es:

saturante: -sigmoid(f)    no saturante: sigmoid(f) - 1

Al principio del entrenamiento D detecta las falsas con facilidad: D(G(z)) = 0.001. La pendiente saturante es entonces -0.001, casi nada de lo que aprender. La pendiente no saturante es -0.999, un empujón completo. Esa es la teoría. El curso midió cuándo importa: en el anillo sano las dos pérdidas entrenan (las 8 semillas grabadas); en un ajuste en el que D gana, la pérdida saturante no aprende nada.

Aquí todas las pérdidas usan trucos de log-sum-exp para que ningún logaritmo vea nunca un 0: log(sigmoid(f)) = -softplus(-f) y log(1 - sigmoid(f)) = -softplus(f), con softplus(a) = log(1 + e^a), calculado como np.logaddexp(0, a).

Palabras y símbolos de esta lección
GAN
red generativa antagónica: un generador y un discriminador entrenados el uno contra el otro
generador (G)
la red que convierte ruido en una muestra
discriminador (D)
la red que puntúa una muestra como real o generada
pérdida saturante
G minimiza log(1 - D(G(z))); su pendiente es casi 0 en cuanto D está seguro, así que G deja de aprender
Tu turno

Escribe las tres pérdidas como medias sobre un lote de puntuaciones: d_loss(real_scores, fake_scores), g_loss_saturating(fake_scores) y g_loss_nonsat(fake_scores). Luego rellena slopes: para cada D(G(z)) de 0.001, 0.1 y 0.5, la pendiente de cada pérdida del generador respecto a la puntuación de la falsa (para una muestra).

¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección

Este ejercicio se abre pronto

Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.