Gradientes de matrizes inteiras (a regra de forma)
Por que isso importa Layers funcionam em matrizes inteiras, então seus gradientes também são matrizes. Uma regra e um truque derivam quase todos os backward pass de cada layer sem memorizar nada.
A regra da forma
A perda L é um número. O gradiente de L em relação a qualquer array tem exatamente o formato desse array: uma inclinação por entrada. Então, se W é (3, 4), dL/dW é (3, 4).
Números pequenos: Y = X @ W
Diga que X é (2, 3), W é (3, 4), Y = X @ W é (2, 4), e alguns passos posteriores transformam Y em L. O retrocesso te entrega G = dL/dY, formato (2, 4). Cada entrada Y[i, j] é uma soma sobre k de X[i, k] W[k, j]. Dê um toque em W[k, j]: isso move cada Y[i, j] na coluna j por X[i, k] vezes o toque. Então dL/dW[k, j] = soma sobre i de X[i, k] G[i, j]. Isso é uma entrada de X.T @ G, que é (3, 4): o formato de W, como a regra diz.
O mesmo raciocínio para X dá dL/dX = G @ W.T, shape (2, 3). Uma forma rápida de lembrar ambos: coloque G com a outra matriz, transposta, na única ordem cujos shapes se encaixam.
A Jacobiana, e por que ninguém a constrói
A tabela completa de como cada entrada de saída se move com cada entrada de entrada é a Jacobian. Para Y = X @ W com W de tamanho 1000 por 1000 e 64 linhas, essa tabela teria 64 mil saídas vezes um milhão de pesos: 64 bilhões de entradas. O Backward nunca a constrói: ele só precisa de G vezes a Jacobian, que é o pequeno produto X.T @ G. Esse produto é o produto vetor-Jacobian da última lição.
Jacobian: a inclinação de cada saída em relação a cada entrada, como uma grande tabela. Vector-Jacobian product: o gradiente empurrado de volta através de um passo, calculado diretamente sem a tabela.
Resumo Mesmo formato da coisa. Para Y = X @ W: dW = X.T @ G e dX = G @ W.T.
Palavras e símbolos nesta lição
- vector
- uma lista de números, um por característica
- derivada (df/dx)
- quão rápido a saída muda por unidade de ajuste da entrada
Escreva matmul_grads(X, W, G) retornando (dX, dW) para Y = X @ W, e elementwise_grads(A, B, G) retornando (dA, dB) para Y = A * B (mesmos formatos, item por item). O teste oculto verifica ambos contra nudging, em formatos que você não viu.
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.