Temario Lección 84 de 246 · Módulo 6: Pesos iniciales y normalización
Módulo 6: Pesos iniciales y normalización

Atajos (conexiones residuales)

Por qué importa Las conexiones residuales son la razón de que las redes con cientos de capas lleguen a entrenar. Todos los bloques de transformer las usan.

Una capa normal sustituye su entrada: h = f(h). Un bloque residual le suma algo: h = h + f(h). Si f no aprende nada útil, el bloque simplemente deja pasar h sin cambios, así que la profundidad extra nunca puede empeorar las cosas al principio. Y de vuelta, el gradiente tiene una ruta directa por el camino "+ h", saltándose la capa por completo, así que no puede desvanecerse.

Un aviso justo sobre el experimento de abajo: las dos redes empiezan con los mismos pesos pequeños a propósito, N(0, 0.1). Ese inicio es lo que hunde a la red normal. Con los pesos iniciales de He vistos antes en este módulo, la red normal de 30 capas también entrena (5 de 6 semillas en las ejecuciones del curso). Lo que añaden los atajos es robustez: entrenan incluso desde un mal inicio, y siguen funcionando a profundidades en las que los pesos iniciales cuidadosos por sí solos dejan de bastar.

Aquí la contribución de cada bloque también se escala por 1 / depth, un truco común para que 30 sumas no hagan explotar la señal.

Conexión residual (o conexión de salto, atajo): sumar la entrada de un bloque a su salida.

Predice la curva: adivina la pérdida final después de 150 pasos para la red normal y para la que tiene atajos. (Una pérdida de 0.693 significa tirar una moneda en esta tarea de dos clases).

Palabras y símbolos de esta lección
Xavier, LeCun, He
dispersiones iniciales sqrt(2 / (entradas + salidas)) o 1 / sqrt(entradas) para tanh, y sqrt(2 / entradas) para ReLU
conexión residual
sumar la entrada de un bloque a su salida: h + f(h)
Tu turno

Rellena my_guess. Luego escribe block(h, W, b, shortcuts, depth): sin atajos devuelve relu(h @ W + b); con atajos devuelve h + relu(h @ W + b) * (1 / depth). La prueba entrena las dos redes de 30 capas desde los mismos pesos iniciales pequeños.

¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección

Este ejercicio se abre pronto

Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.