Conteúdo do curso Lição 57 de 246 · Módulo 4: Seu próprio motor de autograd
Módulo 4: Seu próprio motor de autograd

Para trás quando as formas se esticam (broadcasting)

Por que isso importa Este é o erro de autograd mais comum no mundo. Um bias de shape (4,) adicionado a um batch de shape (32, 4) é usado 32 vezes, então seu gradiente deve somar todas as 32 contribuições.

Números pequenos

out = X + b com X (3, 2) e b (2,). O gradiente que chega é (3, 2). b foi copiado para todas as 3 linhas, então cada cópia recebeu uma parte: o gradiente de b é a soma sobre as linhas, formato (2,). Se você devolver o array (3, 2), os formatos não batem mais, ou pior, o broadcasting esconde isso e os números estão 3 vezes errados.

A regra: onde quer que o broadcasting added uma direção, some ela fora; onde quer que ele stretched uma direção de tamanho-1, some ela mas mantenha como tamanho 1.

Resumo Copiado para frente significa somado para trás.

Palavras e símbolos nesta lição
autograd
gradientes automáticos: você escreve o forward pass, o motor faz o backward
Tensor
Aqui: um array mais seu gradiente mais os Tensors de onde ele veio
.grad
o gradiente da perda final em relação a este Tensor
unbroadcast
somando um gradiente de volta para a forma de onde ele foi esticado
Sua vez

Escreva unbroadcast(grad, shape): soma de grad até shape. Seu add e multiply já chamam isso.

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.