Temario Lección 29 de 246 · Módulo 2: Matemáticas y probabilidad, solo lo necesario
Módulo 2: Matemáticas y probabilidad, solo lo necesario

Gradientes de matrices enteras (la regla de la forma)

Por qué importa Las capas trabajan con matrices enteras, así que sus gradientes también son matrices. Una regla y un truco derivan la pasada hacia atrás de casi cualquier capa sin memorizar nada.

La regla de la forma

La pérdida L es un número. El gradiente de L respecto a cualquier array tiene exactamente la forma de ese array: una pendiente por entrada. Así que si W es (3, 4), dL/dW es (3, 4).

Números diminutos: Y = X @ W

Digamos que X es (2, 3), W es (3, 4), Y = X @ W es (2, 4), y unos pasos posteriores convierten Y en L. La pasada hacia atrás te entrega G = dL/dY, de forma (2, 4). Cada entrada Y[i, j] es una suma sobre k de X[i, k] W[k, j]. Empuja W[k, j]: mueve cada Y[i, j] de la columna j en X[i, k] por el empujón. Así que dL/dW[k, j] = la suma sobre i de X[i, k] G[i, j]. Eso es una entrada de X.T @ G, que es (3, 4): la forma de W, como dice la regla.

El mismo razonamiento para X da dL/dX = G @ W.T, de forma (2, 3). Una forma rápida de recordar los dos: pon G con la otra matriz, traspuesta, en el único orden cuyas formas encajan.

El jacobiano, y por qué nadie lo construye

La tabla completa de cómo se mueve cada entrada de la salida con cada entrada de la entrada es el jacobiano. Para Y = X @ W con W de tamaño 1000 por 1000 y 64 filas, esa tabla tendría 64 mil salidas por un millón de pesos: 64 mil millones de entradas. La pasada hacia atrás nunca lo construye: solo necesita G por el jacobiano, que es el producto pequeño X.T @ G. Ese producto es el producto vector-jacobiano de la lección anterior.

Jacobiano: la pendiente de cada salida respecto a cada entrada, como una gran tabla. Producto vector-jacobiano: el gradiente empujado hacia atrás por un paso, calculado directamente sin la tabla.

Resumen La misma forma que la cosa. Para Y = X @ W: dW = X.T @ G y dX = G @ W.T.

Palabras y símbolos de esta lección
vector
una lista de números, uno por característica
derivada (df/dx)
lo rápido que cambia la salida por cada unidad de empujón de la entrada
Tu turno

Escribe matmul_grads(X, W, G) que devuelva (dX, dW) para Y = X @ W, y elementwise_grads(A, B, G) que devuelva (dA, dB) para Y = A * B (mismas formas, elemento a elemento). La prueba oculta comprueba los dos contra empujones, con formas que no has visto.

¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección

Este ejercicio se abre pronto

Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.