Gradientes de matrices enteras (la regla de la forma)
Por qué importa Las capas trabajan con matrices enteras, así que sus gradientes también son matrices. Una regla y un truco derivan la pasada hacia atrás de casi cualquier capa sin memorizar nada.
La regla de la forma
La pérdida L es un número. El gradiente de L respecto a cualquier array tiene exactamente la forma de ese array: una pendiente por entrada. Así que si W es (3, 4), dL/dW es (3, 4).
Números diminutos: Y = X @ W
Digamos que X es (2, 3), W es (3, 4), Y = X @ W es (2, 4), y unos pasos posteriores convierten Y en L. La pasada hacia atrás te entrega G = dL/dY, de forma (2, 4). Cada entrada Y[i, j] es una suma sobre k de X[i, k] W[k, j]. Empuja W[k, j]: mueve cada Y[i, j] de la columna j en X[i, k] por el empujón. Así que dL/dW[k, j] = la suma sobre i de X[i, k] G[i, j]. Eso es una entrada de X.T @ G, que es (3, 4): la forma de W, como dice la regla.
El mismo razonamiento para X da dL/dX = G @ W.T, de forma (2, 3). Una forma rápida de recordar los dos: pon G con la otra matriz, traspuesta, en el único orden cuyas formas encajan.
El jacobiano, y por qué nadie lo construye
La tabla completa de cómo se mueve cada entrada de la salida con cada entrada de la entrada es el jacobiano. Para Y = X @ W con W de tamaño 1000 por 1000 y 64 filas, esa tabla tendría 64 mil salidas por un millón de pesos: 64 mil millones de entradas. La pasada hacia atrás nunca lo construye: solo necesita G por el jacobiano, que es el producto pequeño X.T @ G. Ese producto es el producto vector-jacobiano de la lección anterior.
Jacobiano: la pendiente de cada salida respecto a cada entrada, como una gran tabla. Producto vector-jacobiano: el gradiente empujado hacia atrás por un paso, calculado directamente sin la tabla.
Resumen La misma forma que la cosa. Para Y = X @ W: dW = X.T @ G y dX = G @ W.T.
Palabras y símbolos de esta lección
- vector
- una lista de números, uno por característica
- derivada (df/dx)
- lo rápido que cambia la salida por cada unidad de empujón de la entrada
Escribe matmul_grads(X, W, G) que devuelva (dX, dW) para Y = X @ W, y elementwise_grads(A, B, G) que devuelva (dA, dB) para Y = A * B (mismas formas, elemento a elemento). La prueba oculta comprueba los dos contra empujones, con formas que no has visto.
¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección
Este ejercicio se abre pronto
Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.
Este navegador está bloqueando las cookies de learn.floati.life, así que las lecciones que terminaste aquí no se pueden abrir en orden. Permite las cookies de este sitio y recarga.