Grabar el grafo y ordenarlo
Por qué importa La pasada hacia atrás debe visitar cada caja solo después de todas las cajas que dependen de ella. Equivocarse en este orden da gradientes equivocados en silencio.
Míralo
Imagina x usado dos veces: a = x * 2, b = x * 3, L = a + b. Esto es un rombo. Yendo hacia atrás desde L, tenemos que terminar con a y con b antes de ocuparnos de x, porque el gradiente de x es la suma de lo que vuelve por los dos.
El arreglo es listar los nodos en orden topológico: cada nodo después de todos sus padres. La pasada hacia atrás recorre entonces esa lista al revés. Una búsqueda en profundidad crea la lista: visita primero los padres de un nodo, luego añade el nodo, y sáltate los nodos ya vistos.
Orden topológico: una ordenación de un grafo en la que cada nodo va después de los nodos de los que depende.
Palabras y símbolos de esta lección
- Tensor
- aquí: un array más su gradiente más los Tensor de los que salió
- orden topológico
- cada nodo listado después de los nodos de los que depende
- .grad
- el gradiente de la pérdida final respecto a este Tensor
- unbroadcast
- sumar un gradiente hasta devolverlo a la forma desde la que se estiró
Escribe el método topo: devuelve cada nodo del que depende self (incluido él mismo), cada uno después de todos sus padres, sin duplicados.
¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección
Este ejercicio se abre pronto
Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.
Este navegador está bloqueando las cookies de learn.floati.life, así que las lecciones que terminaste aquí no se pueden abrir en orden. Permite las cookies de este sitio y recarga.