Conteúdo do curso Lição 61 de 246 · Módulo 4: Seu próprio motor de autograd
Módulo 4: Seu próprio motor de autograd

Camadas que guardam seus próprios pesos

Por que isso importa Redes reais têm muitas camadas. Cada camada deve ser dona de seus pesos e ser capaz de listá-los, para que o código de treinamento nunca precise saber o que está dentro.

A Linear mantém W e b como Tensors e calcula x @ W + b. Um MLP guarda uma lista de Linear layers com ReLU entre elas. Ambas oferecem parameters(), uma lista de seus weight Tensors.

Por que zerar os gradientes

Seu backward adds a cada grad. Isso está certo em uma única passagem, mas entre os steps o gradiente antigo ainda está lá. Se esquecer de limpá-lo, cada step usará a soma de todos os gradientes passados: o treinamento deriva e depois explode. Então cada step é: zerar os grads, forward, backward, step.

Parameter: um peso que o treinamento altera. zero_grad: resetar o grad de cada parâmetro para zero antes do próximo backward.

Comece os weights com spread sqrt(2 / inputs), o que mantém os sinais em um tamanho sensato através das camadas ReLU. O Módulo 6 explica Por que isso importa.

Palavras e símbolos nesta lição
Tensor
Aqui: um array mais seu gradiente mais os Tensors de onde ele veio
unbroadcast
somando um gradiente de volta para a forma original de onde ele foi esticado
zero_grad
redefinindo os gradientes antes do próximo passo, porque o backward adiciona a eles
Sua vez

Escreva Linear, MLP, zero_grad(params) e sgd_step(params, lr) como descrito. MLP([64, 32, 10], rng) cria duas camadas Linear com uma ReLU entre elas e nenhuma depois da última.

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.