Hacia atrás cuando las formas se estiran (broadcasting)
Por qué importa Este es el error de autograd más común del mundo. Un sesgo de forma (4,) sumado a un lote de forma (32, 4) se usa 32 veces, así que su gradiente debe sumar las 32 contribuciones.
Números diminutos
out = X + b con X (3, 2) y b (2,). El gradiente que llega es (3, 2). b se copió a las 3 filas, así que cada copia recibió una parte: el gradiente de b es la suma sobre las filas, de forma (2,). Si devuelves el array de (3, 2), las formas ya no encajan, o peor, el broadcasting lo esconde y los números están 3 veces mal.
La regla: allí donde el broadcasting añadió una dirección, súmala hasta quitarla; allí donde estiró una dirección de tamaño 1, súmala pero mantenla de tamaño 1.
Resumen Copiado hacia delante significa sumado hacia atrás.
Palabras y símbolos de esta lección
- autograd
- gradientes automáticos: tú escribes la pasada hacia delante, el motor hace la de hacia atrás
- Tensor
- aquí: un array más su gradiente más los Tensor de los que salió
- .grad
- el gradiente de la pérdida final respecto a este Tensor
- unbroadcast
- sumar un gradiente hasta devolverlo a la forma desde la que se estiró
Escribe unbroadcast(grad, shape): suma grad hasta dejarlo en shape. Tu suma y tu multiplicación ya la llaman.
¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección
Este ejercicio se abre pronto
Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.
Este navegador está bloqueando las cookies de learn.floati.life, así que las lecciones que terminaste aquí no se pueden abrir en orden. Permite las cookies de este sitio y recarga.