Temario Lección 45 de 246 · Módulo 3: De la neurona al MLP
Módulo 3: De la neurona al MLP

Cualquier curva a base de jorobas (aproximación universal)

Por qué importa Se dice que una red con una capa oculta puede ajustarse a cualquier curva. Aquí ves por qué, construyéndola tú mismo a base de jorobas.

Míralo

Una sigmoide muy empinada es un escalón: 0 a la izquierda, 1 a la derecha. Dos escalones, uno que sube en left y otro que baja en right, forman una joroba: height * (sigmoid(s (x - left)) - sigmoid(s (x - right))). Eso son dos neuronas ocultas y un peso de salida. Pon jorobas una al lado de otra, cada una tan alta como la curva en su sitio, y trazas cualquier curva, como un diagrama de barras. Más neuronas, barras más finas, ajuste más cercano.

Aproximación universal: una capa oculta con suficientes neuronas puede acercarse tanto como quieras a cualquier curva razonable. No dice nada de lo fácil que es encontrar esos pesos entrenando.

Resumen Dos neuronas hacen una joroba; suficientes jorobas lo hacen todo.

Palabras y símbolos de esta lección
neurona
w . x + b, y luego una activación
pesos (w, W), sesgo (b)
los números que aprende una neurona; el sesgo desplaza su salida
sigmoide
1 / (1 + exp(-z)): aplasta cualquier número entre 0 y 1
capa oculta
una capa entre la entrada y la salida que construye características nuevas
Tu turno

Escribe bump(x, left, right, height, s=60), y luego approx(x, f, n_bumps) que divida de 0 a pi en n_bumps trozos iguales y sume una joroba por trozo, cada una con la altura de f en el centro de su trozo. Con 10 jorobas (20 neuronas), el error cuadrático medio frente a sin en 0 a pi debe quedar por debajo de 0.01.

¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección

Este ejercicio se abre pronto

Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.