Somas, médias, redimensionamentos e transposições
Por que isso importa Uma perda é uma soma ou uma média, e as camadas remodelam e transpõem o tempo todo. Cada uma precisa de uma regra de backward, e cada regra é uma linha única.
- sum (para um número): cada entrada contribuiu com inclinação 1, então cada uma recebe o gradiente de chegada. Gradient: uns do formato da entrada, vezes out.grad.
- mean: uma soma vezes 1/size. Construa a partir de sum e multiply, então não precisa de regra própria.
- reshape: os valores são apenas rearranjados, então reorganize o gradiente de volta para o formato da entrada.
- transpose: transponha o gradiente de volta.
Resumo Mover números move o gradiente de volta da mesma forma.
Palavras e símbolos nesta lição
- Tensor
- Aqui: um array mais seu gradiente mais os Tensors de onde ele veio
- .grad
- o gradiente da perda final em relação a este Tensor
- unbroadcast
- somando um gradiente de volta para a forma de onde ele foi esticado
Escreva sum, mean, reshape e a propriedade T com suas regras inversas.
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.