Temario Lección 179 de 246 · Módulo 16: Dos redes en un juego (GAN, opcional)
Módulo 16: Dos redes en un juego (GAN, opcional)

Trucos que a veces ayudan

Por qué importa Los artículos y las entradas de blog sobre GAN enumeran docenas de trucos. La mayoría se mostraron en una sola configuración, a menudo con una sola semilla. Aquí pones a prueba cuatro de ellos con el mismo colapso, sobre 8 semillas grabadas, e informas de lo que mediste, no de lo que leíste.

Los cuatro trucos, cada uno aplicado a la GAN que colapsa con 8 números de ruido:

  • Suavizado de etiquetas: a D se le dice que las muestras reales son reales en un 0.8, no en un 1, para que nunca esté demasiado seguro.
  • Ruido en las instancias: se añade un poco de ruido a cada punto que ve D, que encoge hasta 0 a lo largo del entrenamiento, para que al principio lo real y lo falso se solapen.
  • Norma espectral: cada matriz de pesos de D se divide entre su mayor estiramiento, para que D no pueda reaccionar con demasiada brusquedad a cambios pequeños.
  • Equilibrio de tasas de aprendizaje: G más lento que D (g_lr 2.5e-4) o más rápido (g_lr 3e-3).

Usa el espíritu del Módulo 9: una diferencia solo cuenta cuando es claramente mayor que el ruido entre semillas. Compara cada truco con la ejecución normal semilla a semilla (misma semilla, emparejadas):

  • ayudó: media de manchas al menos 1 más alta Y más manchas en al menos 6 de las 8 semillas;
  • perjudicó: media de manchas al menos 1 más baja y menos en al menos 6 semillas, O media de calidad al menos 0.25 más baja y más baja en al menos 6 semillas (un generador que conserva sus manchas pero esparce sus puntos no ha recibido ayuda);
  • si no, ningún cambio claro.
Palabras y símbolos de esta lección
GAN
red generativa antagónica: un generador y un discriminador entrenados el uno contra el otro
generador (G)
la red que convierte ruido en una muestra
manchas cubiertas, calidad
el juez del anillo: las manchas con más del 2% de los puntos, y la proporción de puntos en una mancha
suavizado de etiquetas
entrenar a D con etiquetas reales de 0.8 en vez de 1
ruido en las instancias
ruido añadido a todo lo que ve D, que encoge hasta 0 a lo largo del entrenamiento
norma espectral
dividir cada matriz de pesos de D entre su mayor estiramiento
Tu turno

Escribe verdict(trick) que devuelva "helped" (ayudó), "hurt" (perjudicó) o "no clear change" (ningún cambio claro) a partir de las ejecuciones grabadas. Luego rellena report con tu veredicto para cada una de las cinco ejecuciones con trucos.

¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección

Este ejercicio se abre pronto

Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.