Para trás para somar e multiplicar
Por que isso importa Com essas duas regras e a ordenação, seu motor já pode diferenciar qualquer fórmula feita de somas e produtos.
Cada operação anexa uma pequena function, _backward, ao Tensor que ela cria. Quando chamada, ela lê out.grad e adiciona sua parte ao grad de cada pai:
- Para
out = a + b: a recebeout.grad, b recebeout.grad. - Para
out = a * b: a recebeout.grad * b.data, b recebeout.grad * a.data.
Sempre adicione ao grad do pai (estilo +=), nunca sobrescreva: um nó usado duas vezes deve coletar ambas as contribuições. Então backward() define o grad do nó final como 1 e chama cada _backward em ordem topológica reversa.
(O auxiliar unbroadcast fornecido, importado no topo, lida com formas que foram esticadas por broadcasting. Você escreverá sua própria versão em duas lições; por enquanto, envolva cada contribuição nele.)
Palavras e símbolos nesta lição
- Tensor
- Aqui: um array mais seu gradiente mais os Tensors de onde ele veio
- ordem topológica
- cada nó listado depois dos nós de que ele depende
- .grad
- o gradiente da perda final em relação a este Tensor
- unbroadcast
- somando um gradiente de volta para a forma de onde ele foi esticado
Preencha as duas funções _backward e o método backward. Os testes ocultos de gradiente verificam fórmulas misturando + e *, incluindo um nó usado duas vezes.
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.