Conteúdo do curso Lição 55 de 246 · Módulo 4: Seu próprio motor de autograd
Módulo 4: Seu próprio motor de autograd

Para trás para somar e multiplicar

Por que isso importa Com essas duas regras e a ordenação, seu motor já pode diferenciar qualquer fórmula feita de somas e produtos.

Cada operação anexa uma pequena function, _backward, ao Tensor que ela cria. Quando chamada, ela lê out.grad e adiciona sua parte ao grad de cada pai:

  • Para out = a + b: a recebe out.grad, b recebe out.grad.
  • Para out = a * b: a recebe out.grad * b.data, b recebe out.grad * a.data.

Sempre adicione ao grad do pai (estilo +=), nunca sobrescreva: um nó usado duas vezes deve coletar ambas as contribuições. Então backward() define o grad do nó final como 1 e chama cada _backward em ordem topológica reversa.

(O auxiliar unbroadcast fornecido, importado no topo, lida com formas que foram esticadas por broadcasting. Você escreverá sua própria versão em duas lições; por enquanto, envolva cada contribuição nele.)

Palavras e símbolos nesta lição
Tensor
Aqui: um array mais seu gradiente mais os Tensors de onde ele veio
ordem topológica
cada nó listado depois dos nós de que ele depende
.grad
o gradiente da perda final em relação a este Tensor
unbroadcast
somando um gradiente de volta para a forma de onde ele foi esticado
Sua vez

Preencha as duas funções _backward e o método backward. Os testes ocultos de gradiente verificam fórmulas misturando + e *, incluindo um nó usado duas vezes.

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.