Temario Lección 40 de 246 · Módulo 3: De la neurona al MLP
Módulo 3: De la neurona al MLP

Bajar cuesta abajo (descenso de gradiente a mano)

Por qué importa Elegir pesos a mano no escala a un millón de pesos. El gradiente le dice a cada peso a la vez hacia dónde es cuesta abajo.

Ponle nombre

Para la pérdida L = mean((X @ w + b - y) squared), empuja un poco w1 y L cambia en 2 * mean(error * x1), donde error es la predicción menos la verdad. Esa es la derivada de L respecto a w1. Todo a la vez: grad_w = 2 * X.T @ error / n, y grad_b = 2 * mean(error).

Léelo en palabras sencillas

Si las predicciones son demasiado altas (error positivo) en las casas de tamaño grande, entonces bajar w1 ayuda, y el gradiente de w1 es positivo, así que lo restamos. Cada paso: w = w - lr * grad_w, donde lr, la tasa de aprendizaje, fija el tamaño del paso.

Descenso de gradiente: repetir "calcula el gradiente, da un pasito en contra". Tasa de aprendizaje: el tamaño de cada paso.

Predice la curva

Antes de ejecutar tu entrenamiento, adivina la pérdida en los pasos 0, 10, 50 y 200 en my_guess. El código imprime tu suposición al lado de la verdad.

Resumen Gradiente, paso en contra, repite.

Palabras y símbolos de esta lección
pesos (w, W), sesgo (b)
los números que aprende una neurona; el sesgo desplaza su salida
tasa de aprendizaje (lr)
lo grande que es cada paso de entrenamiento
Tu turno

Escribe gradients(X, y, w, b) que devuelva (grad_w, grad_b), y train(X, y, lr, steps) que empiece con ceros y devuelva (w, b, losses), donde losses guarda la pérdida antes de cada paso. Rellena primero my_guess. La pérdida entrenada debe acabar por debajo de 0.01 con lr 0.5 y los 201 pasos que pide el código inicial.

¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección

Este ejercicio se abre pronto

Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.