Retropropagación y comprobación de gradientes
Entrenaste un modelo de juguete ajustando los pesos cuesta abajo. Pero ¿de dónde salen los gradientes, y cómo sabes que son correctos? Esta lección responde a las dos cosas, y la segunda respuesta, la comprobación de gradientes, es la costumbre que separa las redes neuronales que funcionan de las que fallan en silencio.
La retropropagación no es más que la regla de la cadena. Pasa un ejemplo por un modelo diminuto: predice z = w * x, y luego mide el error al cuadrado L = (z - y)**2. Para mejorar w necesitas dL/dw. Calcúlalo en dos saltos y multiplica:
dL/dz = 2 * (z - y) # how loss moves with the prediction
dz/dw = x # how the prediction moves with w
dL/dw = dL/dz * dz/dw = 2 * (z - y) * xEse producto ES la retropropagación, en miniatura: cada capa multiplica el gradiente que vuelve por su propia derivada local. Apila un millón de estas y tienes una red profunda.
Ahora, ¿es correcta tu fórmula? Compruébalo numéricamente. La definición de una derivada es un empujoncito diminuto, así que estímala con una diferencia finita central y comprueba que el gradiente analítico coincide:
numeric = (L(w + h) - L(w - h)) / (2 * h) # h tiny, e.g. 1e-5
assert abs(analytic - numeric) < 1e-6 # they should agree to many digitsSi no coinciden, tu pasada hacia atrás tiene un fallo: por eso mismo todo código serio de aprendizaje profundo comprueba sus gradientes.
Construye dos funciones. loss(w, x, y) devuelve (w*x - y)**2. grad(w, x, y) devuelve el gradiente analítico dL/dw = 2*(w*x - y)*x. Las pruebas ocultas comprobarán tu grad con una diferencia finita de tu propia loss en muchos puntos aleatorios, así que una fórmula equivocada no puede pasar. Pulsa Ejecutar para ver cómo coinciden lo analítico y lo numérico.
Escribe loss(w, x, y), que devuelve el error al cuadrado (w*x - y)**2, y grad(w, x, y), que devuelve su gradiente analítico respecto a w, que por la regla de la cadena es 2*(w*x - y)*x. Tu grad se comprobará con una diferencia finita central de tu propia loss en muchos puntos aleatorios, así que tiene que ser la derivada real, no una aproximación ni una constante.
¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección
Este ejercicio se abre pronto
Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.
Este navegador está bloqueando las cookies de learn.floati.life, así que las lecciones que terminaste aquí no se pueden abrir en orden. Permite las cookies de este sitio y recarga.