Cualquier curva a base de jorobas (aproximación universal)
Por qué importa Se dice que una red con una capa oculta puede ajustarse a cualquier curva. Aquí ves por qué, construyéndola tú mismo a base de jorobas.
Míralo
Una sigmoide muy empinada es un escalón: 0 a la izquierda, 1 a la derecha. Dos escalones, uno que sube en left y otro que baja en right, forman una joroba: height * (sigmoid(s (x - left)) - sigmoid(s (x - right))). Eso son dos neuronas ocultas y un peso de salida. Pon jorobas una al lado de otra, cada una tan alta como la curva en su sitio, y trazas cualquier curva, como un diagrama de barras. Más neuronas, barras más finas, ajuste más cercano.
Aproximación universal: una capa oculta con suficientes neuronas puede acercarse tanto como quieras a cualquier curva razonable. No dice nada de lo fácil que es encontrar esos pesos entrenando.
Resumen Dos neuronas hacen una joroba; suficientes jorobas lo hacen todo.
Palabras y símbolos de esta lección
- neurona
- w . x + b, y luego una activación
- pesos (w, W), sesgo (b)
- los números que aprende una neurona; el sesgo desplaza su salida
- sigmoide
- 1 / (1 + exp(-z)): aplasta cualquier número entre 0 y 1
- capa oculta
- una capa entre la entrada y la salida que construye características nuevas
Escribe bump(x, left, right, height, s=60), y luego approx(x, f, n_bumps) que divida de 0 a pi en n_bumps trozos iguales y sume una joroba por trozo, cada una con la altura de f en el centro de su trozo. Con 10 jorobas (20 neuronas), el error cuadrático medio frente a sin en 0 a pi debe quedar por debajo de 0.01.
¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección
Este ejercicio se abre pronto
Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.
Este navegador está bloqueando las cookies de learn.floati.life, así que las lecciones que terminaste aquí no se pueden abrir en orden. Permite las cookies de este sitio y recarga.