Hacia atrás para la suma y la multiplicación
Por qué importa Con estas dos reglas y la ordenación, tu motor ya puede derivar cualquier fórmula hecha de sumas y productos.
Cada operación le pega una función pequeña, _backward, al Tensor que crea. Cuando se la llama, lee out.grad y suma su parte al grad de cada padre:
- Para
out = a + b: a recibeout.grad, b recibeout.grad. - Para
out = a * b: a recibeout.grad * b.data, b recibeout.grad * a.data.
Suma siempre al grad del padre (al estilo +=), nunca sobrescribas: un nodo usado dos veces debe recoger las dos contribuciones. Luego backward() pone el grad del nodo final a 1 y llama a cada _backward en orden topológico inverso.
(La función auxiliar unbroadcast que se da, importada arriba, se ocupa de las formas que estiró el broadcasting. Escribirás tu propia versión dentro de dos lecciones; por ahora, envuelve cada contribución en ella).
Palabras y símbolos de esta lección
- Tensor
- aquí: un array más su gradiente más los Tensor de los que salió
- orden topológico
- cada nodo listado después de los nodos de los que depende
- .grad
- el gradiente de la pérdida final respecto a este Tensor
- unbroadcast
- sumar un gradiente hasta devolverlo a la forma desde la que se estiró
Rellena las dos funciones _backward y el método backward. La prueba oculta comprueba los gradientes de fórmulas que mezclan + y *, incluido un nodo usado dos veces.
¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección
Este ejercicio se abre pronto
Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.
Este navegador está bloqueando las cookies de learn.floati.life, así que las lecciones que terminaste aquí no se pueden abrir en orden. Permite las cookies de este sitio y recarga.