Para trás para multiplicação de matrizes
Por que isso importa Matrix multiply é o motor de cada camada. Sua regra de backward tem duas linhas, e você pode derivá-la apenas pelas formas.
Números pequenos
Pegue out = A @ B com A de formato (2, 3) e B de formato (3, 4), então out é (2, 4). O gradiente chegando, G, tem o formato de out (2, 4). O gradiente de A deve ter o formato de A (2, 3). A única maneira de fazer (2, 3) a partir de G (2, 4) e B (3, 4) é G @ B.T. Da mesma forma, o gradiente de B (3, 4) deve ser A.T @ G.
Verifique uma entrada na sua cabeça: out[0, 0] = A[0, 0] B[0, 0] + A[0, 1] B[1, 0] + A[0, 2] B[2, 0]. Mude um pouco A[0, 1] e out[0, 0] se move por B[1, 0] vezes o ajuste. Isso é exatamente a entrada (0, 1) de G @ B.T quando G é 1 em (0, 0) e 0 em qualquer outro lugar.
Resumo dA = G @ B.T, dB = A.T @ G. Se você esquecer, combine as formas.
Palavras e símbolos nesta lição
- Tensor
- Aqui: um array mais seu gradiente mais os Tensors de onde ele veio
- .grad
- o gradiente da perda final em relação a este Tensor
- unbroadcast
- somando um gradiente de volta para a forma de onde ele foi esticado
Escreva __matmul__ com seu _backward. O teste oculto de gradiente-check (A @ B) * C para formas aleatórias.
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.