Conteúdo do curso Lição 58 de 246 · Módulo 4: Seu próprio motor de autograd
Módulo 4: Seu próprio motor de autograd

Somas, médias, redimensionamentos e transposições

Por que isso importa Uma perda é uma soma ou uma média, e as camadas remodelam e transpõem o tempo todo. Cada uma precisa de uma regra de backward, e cada regra é uma linha única.

  • sum (para um número): cada entrada contribuiu com inclinação 1, então cada uma recebe o gradiente de chegada. Gradient: uns do formato da entrada, vezes out.grad.
  • mean: uma soma vezes 1/size. Construa a partir de sum e multiply, então não precisa de regra própria.
  • reshape: os valores são apenas rearranjados, então reorganize o gradiente de volta para o formato da entrada.
  • transpose: transponha o gradiente de volta.

Resumo Mover números move o gradiente de volta da mesma forma.

Palavras e símbolos nesta lição
Tensor
Aqui: um array mais seu gradiente mais os Tensors de onde ele veio
.grad
o gradiente da perda final em relação a este Tensor
unbroadcast
somando um gradiente de volta para a forma de onde ele foi esticado
Sua vez

Escreva sum, mean, reshape e a propriedade T com suas regras inversas.

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.