Conteúdo do curso Lição 29 de 246 · Módulo 2: Matemática e probabilidade, apenas conforme necessário
Módulo 2: Matemática e probabilidade, apenas conforme necessário

Gradientes de matrizes inteiras (a regra de forma)

Por que isso importa Layers funcionam em matrizes inteiras, então seus gradientes também são matrizes. Uma regra e um truque derivam quase todos os backward pass de cada layer sem memorizar nada.

A regra da forma

A perda L é um número. O gradiente de L em relação a qualquer array tem exatamente o formato desse array: uma inclinação por entrada. Então, se W é (3, 4), dL/dW é (3, 4).

Números pequenos: Y = X @ W

Diga que X é (2, 3), W é (3, 4), Y = X @ W é (2, 4), e alguns passos posteriores transformam Y em L. O retrocesso te entrega G = dL/dY, formato (2, 4). Cada entrada Y[i, j] é uma soma sobre k de X[i, k] W[k, j]. Dê um toque em W[k, j]: isso move cada Y[i, j] na coluna j por X[i, k] vezes o toque. Então dL/dW[k, j] = soma sobre i de X[i, k] G[i, j]. Isso é uma entrada de X.T @ G, que é (3, 4): o formato de W, como a regra diz.

O mesmo raciocínio para X dá dL/dX = G @ W.T, shape (2, 3). Uma forma rápida de lembrar ambos: coloque G com a outra matriz, transposta, na única ordem cujos shapes se encaixam.

A Jacobiana, e por que ninguém a constrói

A tabela completa de como cada entrada de saída se move com cada entrada de entrada é a Jacobian. Para Y = X @ W com W de tamanho 1000 por 1000 e 64 linhas, essa tabela teria 64 mil saídas vezes um milhão de pesos: 64 bilhões de entradas. O Backward nunca a constrói: ele só precisa de G vezes a Jacobian, que é o pequeno produto X.T @ G. Esse produto é o produto vetor-Jacobian da última lição.

Jacobian: a inclinação de cada saída em relação a cada entrada, como uma grande tabela. Vector-Jacobian product: o gradiente empurrado de volta através de um passo, calculado diretamente sem a tabela.

Resumo Mesmo formato da coisa. Para Y = X @ W: dW = X.T @ G e dX = G @ W.T.

Palavras e símbolos nesta lição
vector
uma lista de números, um por característica
derivada (df/dx)
quão rápido a saída muda por unidade de ajuste da entrada
Sua vez

Escreva matmul_grads(X, W, G) retornando (dX, dW) para Y = X @ W, e elementwise_grads(A, B, G) retornando (dA, dB) para Y = A * B (mesmos formatos, item por item). O teste oculto verifica ambos contra nudging, em formatos que você não viu.

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.