Temario Lección 78 de 246 · Módulo 6: Pesos iniciales y normalización
Módulo 6: Pesos iniciales y normalización

ReLU muertas

Por qué importa Una ReLU que está apagada para todas las entradas no deja pasar ningún gradiente, así que nunca vuelve a aprender. Capas enteras pueden morir en silencio.

Una unidad está muerta si su salida es cero para todos los ejemplos de un lote. Causas comunes: un sesgo muy negativo, o una actualización enorme que empujó sus pesos muy hacia lo negativo.

Números diminutos

Activaciones para 4 ejemplos y 3 unidades: [[0, 1.2, 0], [0, 0.3, 0], [0, 2.0, 0.1], [0, 0, 0]]. La unidad 1 es cero en todas partes: muerta. La unidad 3 se activó una vez: viva. Proporción de muertas: 1 de 3.

Arreglos: pesos iniciales sensatos, sesgos que empiezan en 0 (o un poco positivos), una tasa de aprendizaje más pequeña, o la leaky ReLU, que mantiene una pequeña pendiente (digamos 0.01) para las entradas negativas, para que la unidad pueda recuperarse.

Palabras y símbolos de esta lección
Xavier, LeCun, He
dispersiones iniciales sqrt(2 / (entradas + salidas)) o 1 / sqrt(entradas) para tanh, y sqrt(2 / entradas) para ReLU
Tu turno

Escribe dead_fraction(H) para una matriz de activaciones (ejemplos por unidades). Luego, para la capa de abajo, que se empezó con sesgos de -4, escribe fixed_layer(X, W) que mantenga los mismos pesos pero use sesgos de cero y una leaky ReLU con pendiente 0.01; su proporción de muertas (contando salidas exactamente cero) debe ser 0.

¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección

Este ejercicio se abre pronto

Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.