Trucos que a veces ayudan
Por qué importa Los artículos y las entradas de blog sobre GAN enumeran docenas de trucos. La mayoría se mostraron en una sola configuración, a menudo con una sola semilla. Aquí pones a prueba cuatro de ellos con el mismo colapso, sobre 8 semillas grabadas, e informas de lo que mediste, no de lo que leíste.
Los cuatro trucos, cada uno aplicado a la GAN que colapsa con 8 números de ruido:
- Suavizado de etiquetas: a D se le dice que las muestras reales son reales en un 0.8, no en un 1, para que nunca esté demasiado seguro.
- Ruido en las instancias: se añade un poco de ruido a cada punto que ve D, que encoge hasta 0 a lo largo del entrenamiento, para que al principio lo real y lo falso se solapen.
- Norma espectral: cada matriz de pesos de D se divide entre su mayor estiramiento, para que D no pueda reaccionar con demasiada brusquedad a cambios pequeños.
- Equilibrio de tasas de aprendizaje: G más lento que D (g_lr 2.5e-4) o más rápido (g_lr 3e-3).
Usa el espíritu del Módulo 9: una diferencia solo cuenta cuando es claramente mayor que el ruido entre semillas. Compara cada truco con la ejecución normal semilla a semilla (misma semilla, emparejadas):
- ayudó: media de manchas al menos 1 más alta Y más manchas en al menos 6 de las 8 semillas;
- perjudicó: media de manchas al menos 1 más baja y menos en al menos 6 semillas, O media de calidad al menos 0.25 más baja y más baja en al menos 6 semillas (un generador que conserva sus manchas pero esparce sus puntos no ha recibido ayuda);
- si no, ningún cambio claro.
Palabras y símbolos de esta lección
- GAN
- red generativa antagónica: un generador y un discriminador entrenados el uno contra el otro
- generador (G)
- la red que convierte ruido en una muestra
- manchas cubiertas, calidad
- el juez del anillo: las manchas con más del 2% de los puntos, y la proporción de puntos en una mancha
- suavizado de etiquetas
- entrenar a D con etiquetas reales de 0.8 en vez de 1
- ruido en las instancias
- ruido añadido a todo lo que ve D, que encoge hasta 0 a lo largo del entrenamiento
- norma espectral
- dividir cada matriz de pesos de D entre su mayor estiramiento
Escribe verdict(trick) que devuelva "helped" (ayudó), "hurt" (perjudicó) o "no clear change" (ningún cambio claro) a partir de las ejecuciones grabadas. Luego rellena report con tu veredicto para cada una de las cinco ejecuciones con trucos.
¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección
Este ejercicio se abre pronto
Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.
Este navegador está bloqueando las cookies de learn.floati.life, así que las lecciones que terminaste aquí no se pueden abrir en orden. Permite las cookies de este sitio y recarga.