Temario Lección 104 de 250 · Intuición de redes neuronales, LLM y proyecto final de IA
Intuición de redes neuronales, LLM y proyecto final de IA

Retropropagación y comprobación de gradientes

Entrenaste un modelo de juguete ajustando los pesos cuesta abajo. Pero ¿de dónde salen los gradientes, y cómo sabes que son correctos? Esta lección responde a las dos cosas, y la segunda respuesta, la comprobación de gradientes, es la costumbre que separa las redes neuronales que funcionan de las que fallan en silencio.

La retropropagación no es más que la regla de la cadena. Pasa un ejemplo por un modelo diminuto: predice z = w * x, y luego mide el error al cuadrado L = (z - y)**2. Para mejorar w necesitas dL/dw. Calcúlalo en dos saltos y multiplica:

dL/dz = 2 * (z - y)        # how loss moves with the prediction
dz/dw = x                  # how the prediction moves with w
dL/dw = dL/dz * dz/dw = 2 * (z - y) * x

Ese producto ES la retropropagación, en miniatura: cada capa multiplica el gradiente que vuelve por su propia derivada local. Apila un millón de estas y tienes una red profunda.

Ahora, ¿es correcta tu fórmula? Compruébalo numéricamente. La definición de una derivada es un empujoncito diminuto, así que estímala con una diferencia finita central y comprueba que el gradiente analítico coincide:

numeric = (L(w + h) - L(w - h)) / (2 * h)   # h tiny, e.g. 1e-5
assert abs(analytic - numeric) < 1e-6   # they should agree to many digits

Si no coinciden, tu pasada hacia atrás tiene un fallo: por eso mismo todo código serio de aprendizaje profundo comprueba sus gradientes.

Construye dos funciones. loss(w, x, y) devuelve (w*x - y)**2. grad(w, x, y) devuelve el gradiente analítico dL/dw = 2*(w*x - y)*x. Las pruebas ocultas comprobarán tu grad con una diferencia finita de tu propia loss en muchos puntos aleatorios, así que una fórmula equivocada no puede pasar. Pulsa Ejecutar para ver cómo coinciden lo analítico y lo numérico.

Tu turno

Escribe loss(w, x, y), que devuelve el error al cuadrado (w*x - y)**2, y grad(w, x, y), que devuelve su gradiente analítico respecto a w, que por la regla de la cadena es 2*(w*x - y)*x. Tu grad se comprobará con una diferencia finita central de tu propia loss en muchos puntos aleatorios, así que tiene que ser la derivada real, no una aproximación ni una constante.

¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección

Este ejercicio se abre pronto

Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.