Señales a través de 20 capas
Por qué importa Antes de que una red profunda aprenda nada, la señal tiene que sobrevivir al viaje por todas las capas. A menudo no lo consigue, y ningún optimizador puede arreglar eso.
Pasa un lote de entradas aleatorias por 20 capas de h = relu(h @ W), con cada peso sacado de una distribución normal con cierta dispersión. Después de cada capa, mide la dispersión (desviación típica) de las activaciones.
Números diminutos
Cada capa multiplica el tamaño típico de la señal más o menos por el mismo factor. Si ese factor es 0.5, después de 20 capas la señal es 0.5 elevado a 20: más o menos una millonésima. Si es 2, es más o menos un millón de veces más grande. Solo sobrevive un factor cercano a 1.
Resumen La profundidad convierte pequeños cambios por capa en cambios enormes.
Palabras y símbolos de esta lección
- Xavier, LeCun, He
- dispersiones iniciales sqrt(2 / (entradas + salidas)) o 1 / sqrt(entradas) para tanh, y sqrt(2 / entradas) para ReLU
Escribe spreads(scale, depth=20, width=100, seed=0): empieza con h = rng.standard_normal((256, width)), luego, para cada capa, saca W = rng.normal(0, scale, (width, width)) y haz h = relu(h @ W). Devuelve la lista de h.std() después de cada capa.
¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección
Este ejercicio se abre pronto
Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.
Este navegador está bloqueando las cookies de learn.floati.life, así que las lecciones que terminaste aquí no se pueden abrir en orden. Permite las cookies de este sitio y recarga.