Sumas, medias, reshapes y trasposiciones
Por qué importa Una pérdida es una suma o una media, y las capas hacen reshape y trasponen todo el rato. Cada una necesita una regla hacia atrás, y cada regla es una línea.
- sum (a un número): cada entrada contribuyó con pendiente 1, así que cada una recibe el gradiente que llega. Gradiente: unos con la forma de la entrada, por out.grad.
- mean: una suma por 1/tamaño. Constrúyela con sum y la multiplicación, así no necesita regla propia.
- reshape: los valores solo se recolocan, así que haz reshape del gradiente de vuelta a la forma de la entrada.
- transpose: vuelve a trasponer el gradiente.
Resumen Mover los números de sitio mueve el gradiente de vuelta de la misma manera.
Palabras y símbolos de esta lección
- Tensor
- aquí: un array más su gradiente más los Tensor de los que salió
- .grad
- el gradiente de la pérdida final respecto a este Tensor
- unbroadcast
- sumar un gradiente hasta devolverlo a la forma desde la que se estiró
Escribe sum, mean, reshape y la propiedad T con sus reglas hacia atrás.
¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección
Este ejercicio se abre pronto
Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.
Este navegador está bloqueando las cookies de learn.floati.life, así que las lecciones que terminaste aquí no se pueden abrir en orden. Permite las cookies de este sitio y recarga.