Conteúdo do curso Lição 56 de 246 · Módulo 4: Seu próprio motor de autograd
Módulo 4: Seu próprio motor de autograd

Para trás para multiplicação de matrizes

Por que isso importa Matrix multiply é o motor de cada camada. Sua regra de backward tem duas linhas, e você pode derivá-la apenas pelas formas.

Números pequenos

Pegue out = A @ B com A de formato (2, 3) e B de formato (3, 4), então out é (2, 4). O gradiente chegando, G, tem o formato de out (2, 4). O gradiente de A deve ter o formato de A (2, 3). A única maneira de fazer (2, 3) a partir de G (2, 4) e B (3, 4) é G @ B.T. Da mesma forma, o gradiente de B (3, 4) deve ser A.T @ G.

Verifique uma entrada na sua cabeça: out[0, 0] = A[0, 0] B[0, 0] + A[0, 1] B[1, 0] + A[0, 2] B[2, 0]. Mude um pouco A[0, 1] e out[0, 0] se move por B[1, 0] vezes o ajuste. Isso é exatamente a entrada (0, 1) de G @ B.T quando G é 1 em (0, 0) e 0 em qualquer outro lugar.

Resumo dA = G @ B.T, dB = A.T @ G. Se você esquecer, combine as formas.

Palavras e símbolos nesta lição
Tensor
Aqui: um array mais seu gradiente mais os Tensors de onde ele veio
.grad
o gradiente da perda final em relação a este Tensor
unbroadcast
somando um gradiente de volta para a forma de onde ele foi esticado
Sua vez

Escreva __matmul__ com seu _backward. O teste oculto de gradiente-check (A @ B) * C para formas aleatórias.

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.