Temario Lección 44 de 246 · Módulo 3: De la neurona al MLP
Módulo 3: De la neurona al MLP

Activaciones: el doblez entre capas

Por qué importa Sin un doblez entre capas, diez capas no son más listas que una. La elección del doblez también decide si los gradientes pueden fluir.

Tres activaciones que encontrarás en todas partes:

  • ReLU: max(0, z). Barata, y su pendiente es exactamente 1 para las entradas positivas, así que los gradientes pasan sin amortiguarse. Pendiente 0 para las negativas.
  • tanh: aplasta entre -1 y 1, centrada en 0. Pendiente 1 en 0 pero casi 0 para entradas grandes: se satura.
  • GELU: una ReLU suave que se usa en los transformers, más o menos z por sigmoid(1.702 z).

Por qué importa la pendiente

La retropropagación multiplica por la pendiente de cada activación. Una pendiente cerca de 0 (una tanh saturada, o ReLU con una entrada negativa) bloquea el gradiente. Verás cómo eso causa fallos de entrenamiento reales en el Módulo 6.

Saturarse: estar en una parte plana de la curva, donde la pendiente, y por tanto el gradiente que pasa por ella, es casi cero.

Resumen Una activación dobla; su pendiente decide cuánto gradiente vuelve hacia atrás.

Palabras y símbolos de esta lección
sigmoide
1 / (1 + exp(-z)): aplasta cualquier número entre 0 y 1
ReLU
max(0, z): conserva los positivos, pone a cero los negativos
retropropagación
la regla de la cadena aplicada hacia atrás para obtener el gradiente de cada peso
Tu turno

Escribe cada activación y su pendiente: relu, relu_slope, tanh, tanh_slope, gelu, gelu_slope, todas sobre arrays. Usa la aproximación de GELU z * sigmoid(1.702 z). Su pendiente necesita dos reglas juntas: la regla del producto (la pendiente de u × v es u' × v + u × v') y la regla de la cadena dentro de la sigmoide (la pendiente de sigmoid(1.702 z) es 1.702 × s(1 - s), con s = sigmoid(1.702 z)). Para la pendiente de ReLU justo en 0, usa 0. La prueba oculta comprueba cada pendiente contra un empujón.

¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección

Este ejercicio se abre pronto

Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.