Para trás quando as formas se esticam (broadcasting)
Por que isso importa Este é o erro de autograd mais comum no mundo. Um bias de shape (4,) adicionado a um batch de shape (32, 4) é usado 32 vezes, então seu gradiente deve somar todas as 32 contribuições.
Números pequenos
out = X + b com X (3, 2) e b (2,). O gradiente que chega é (3, 2). b foi copiado para todas as 3 linhas, então cada cópia recebeu uma parte: o gradiente de b é a soma sobre as linhas, formato (2,). Se você devolver o array (3, 2), os formatos não batem mais, ou pior, o broadcasting esconde isso e os números estão 3 vezes errados.
A regra: onde quer que o broadcasting added uma direção, some ela fora; onde quer que ele stretched uma direção de tamanho-1, some ela mas mantenha como tamanho 1.
Resumo Copiado para frente significa somado para trás.
Palavras e símbolos nesta lição
- autograd
- gradientes automáticos: você escreve o forward pass, o motor faz o backward
- Tensor
- Aqui: um array mais seu gradiente mais os Tensors de onde ele veio
- .grad
- o gradiente da perda final em relação a este Tensor
- unbroadcast
- somando um gradiente de volta para a forma de onde ele foi esticado
Escreva unbroadcast(grad, shape): soma de grad até shape. Seu add e multiply já chamam isso.
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.