Temario Lección 75 de 246 · Módulo 6: Pesos iniciales y normalización
Módulo 6: Pesos iniciales y normalización

Señales a través de 20 capas

Por qué importa Antes de que una red profunda aprenda nada, la señal tiene que sobrevivir al viaje por todas las capas. A menudo no lo consigue, y ningún optimizador puede arreglar eso.

Pasa un lote de entradas aleatorias por 20 capas de h = relu(h @ W), con cada peso sacado de una distribución normal con cierta dispersión. Después de cada capa, mide la dispersión (desviación típica) de las activaciones.

Números diminutos

Cada capa multiplica el tamaño típico de la señal más o menos por el mismo factor. Si ese factor es 0.5, después de 20 capas la señal es 0.5 elevado a 20: más o menos una millonésima. Si es 2, es más o menos un millón de veces más grande. Solo sobrevive un factor cercano a 1.

Resumen La profundidad convierte pequeños cambios por capa en cambios enormes.

Palabras y símbolos de esta lección
Xavier, LeCun, He
dispersiones iniciales sqrt(2 / (entradas + salidas)) o 1 / sqrt(entradas) para tanh, y sqrt(2 / entradas) para ReLU
Tu turno

Escribe spreads(scale, depth=20, width=100, seed=0): empieza con h = rng.standard_normal((256, width)), luego, para cada capa, saca W = rng.normal(0, scale, (width, width)) y haz h = relu(h @ W). Devuelve la lista de h.std() después de cada capa.

¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección

Este ejercicio se abre pronto

Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.