Atajos (conexiones residuales)
Por qué importa Las conexiones residuales son la razón de que las redes con cientos de capas lleguen a entrenar. Todos los bloques de transformer las usan.
Una capa normal sustituye su entrada: h = f(h). Un bloque residual le suma algo: h = h + f(h). Si f no aprende nada útil, el bloque simplemente deja pasar h sin cambios, así que la profundidad extra nunca puede empeorar las cosas al principio. Y de vuelta, el gradiente tiene una ruta directa por el camino "+ h", saltándose la capa por completo, así que no puede desvanecerse.
Un aviso justo sobre el experimento de abajo: las dos redes empiezan con los mismos pesos pequeños a propósito, N(0, 0.1). Ese inicio es lo que hunde a la red normal. Con los pesos iniciales de He vistos antes en este módulo, la red normal de 30 capas también entrena (5 de 6 semillas en las ejecuciones del curso). Lo que añaden los atajos es robustez: entrenan incluso desde un mal inicio, y siguen funcionando a profundidades en las que los pesos iniciales cuidadosos por sí solos dejan de bastar.
Aquí la contribución de cada bloque también se escala por 1 / depth, un truco común para que 30 sumas no hagan explotar la señal.
Conexión residual (o conexión de salto, atajo): sumar la entrada de un bloque a su salida.
Predice la curva: adivina la pérdida final después de 150 pasos para la red normal y para la que tiene atajos. (Una pérdida de 0.693 significa tirar una moneda en esta tarea de dos clases).
Palabras y símbolos de esta lección
- Xavier, LeCun, He
- dispersiones iniciales sqrt(2 / (entradas + salidas)) o 1 / sqrt(entradas) para tanh, y sqrt(2 / entradas) para ReLU
- conexión residual
- sumar la entrada de un bloque a su salida: h + f(h)
Rellena my_guess. Luego escribe block(h, W, b, shortcuts, depth): sin atajos devuelve relu(h @ W + b); con atajos devuelve h + relu(h @ W + b) * (1 / depth). La prueba entrena las dos redes de 30 capas desde los mismos pesos iniciales pequeños.
¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección
Este ejercicio se abre pronto
Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.
Este navegador está bloqueando las cookies de learn.floati.life, así que las lecciones que terminaste aquí no se pueden abrir en orden. Permite las cookies de este sitio y recarga.