Hacia atrás para la multiplicación de matrices
Por qué importa La multiplicación de matrices es el caballo de batalla de todas las capas. Su regla hacia atrás son dos líneas, y la puedes derivar solo con las formas.
Números diminutos
Toma out = A @ B con A de forma (2, 3) y B de forma (3, 4), así que out es (2, 4). El gradiente que llega, G, tiene la forma de out (2, 4). El gradiente de A debe tener la forma de A (2, 3). La única manera de obtener (2, 3) a partir de G (2, 4) y B (3, 4) es G @ B.T. Del mismo modo, el gradiente de B (3, 4) debe ser A.T @ G.
Comprueba una entrada de cabeza: out[0, 0] = A[0, 0] B[0, 0] + A[0, 1] B[1, 0] + A[0, 2] B[2, 0]. Empuja A[0, 1] y out[0, 0] se mueve B[1, 0] por el empujón. Eso es exactamente la entrada (0, 1) de G @ B.T cuando G vale 1 en (0, 0) y 0 en el resto.
Resumen dA = G @ B.T, dB = A.T @ G. Si se te olvida, encaja las formas.
Palabras y símbolos de esta lección
- Tensor
- aquí: un array más su gradiente más los Tensor de los que salió
- .grad
- el gradiente de la pérdida final respecto a este Tensor
- unbroadcast
- sumar un gradiente hasta devolverlo a la forma desde la que se estiró
Escribe __matmul__ con su _backward. La prueba oculta comprueba los gradientes de (A @ B) * C con formas aleatorias.
¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección
Este ejercicio se abre pronto
Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.
Este navegador está bloqueando las cookies de learn.floati.life, así que las lecciones que terminaste aquí no se pueden abrir en orden. Permite las cookies de este sitio y recarga.