ReLU muertas
Por qué importa Una ReLU que está apagada para todas las entradas no deja pasar ningún gradiente, así que nunca vuelve a aprender. Capas enteras pueden morir en silencio.
Una unidad está muerta si su salida es cero para todos los ejemplos de un lote. Causas comunes: un sesgo muy negativo, o una actualización enorme que empujó sus pesos muy hacia lo negativo.
Números diminutos
Activaciones para 4 ejemplos y 3 unidades: [[0, 1.2, 0], [0, 0.3, 0], [0, 2.0, 0.1], [0, 0, 0]]. La unidad 1 es cero en todas partes: muerta. La unidad 3 se activó una vez: viva. Proporción de muertas: 1 de 3.
Arreglos: pesos iniciales sensatos, sesgos que empiezan en 0 (o un poco positivos), una tasa de aprendizaje más pequeña, o la leaky ReLU, que mantiene una pequeña pendiente (digamos 0.01) para las entradas negativas, para que la unidad pueda recuperarse.
Palabras y símbolos de esta lección
- Xavier, LeCun, He
- dispersiones iniciales sqrt(2 / (entradas + salidas)) o 1 / sqrt(entradas) para tanh, y sqrt(2 / entradas) para ReLU
Escribe dead_fraction(H) para una matriz de activaciones (ejemplos por unidades). Luego, para la capa de abajo, que se empezó con sesgos de -4, escribe fixed_layer(X, W) que mantenga los mismos pesos pero use sesgos de cero y una leaky ReLU con pendiente 0.01; su proporción de muertas (contando salidas exactamente cero) debe ser 0.
¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección
Este ejercicio se abre pronto
Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.
Este navegador está bloqueando las cookies de learn.floati.life, así que las lecciones que terminaste aquí no se pueden abrir en orden. Permite las cookies de este sitio y recarga.