Camadas que guardam seus próprios pesos
Por que isso importa Redes reais têm muitas camadas. Cada camada deve ser dona de seus pesos e ser capaz de listá-los, para que o código de treinamento nunca precise saber o que está dentro.
A Linear mantém W e b como Tensors e calcula x @ W + b. Um MLP guarda uma lista de Linear layers com ReLU entre elas. Ambas oferecem parameters(), uma lista de seus weight Tensors.
Por que zerar os gradientes
Seu backward adds a cada grad. Isso está certo em uma única passagem, mas entre os steps o gradiente antigo ainda está lá. Se esquecer de limpá-lo, cada step usará a soma de todos os gradientes passados: o treinamento deriva e depois explode. Então cada step é: zerar os grads, forward, backward, step.
Parameter: um peso que o treinamento altera. zero_grad: resetar o grad de cada parâmetro para zero antes do próximo backward.
Comece os weights com spread sqrt(2 / inputs), o que mantém os sinais em um tamanho sensato através das camadas ReLU. O Módulo 6 explica Por que isso importa.
Palavras e símbolos nesta lição
- Tensor
- Aqui: um array mais seu gradiente mais os Tensors de onde ele veio
- unbroadcast
- somando um gradiente de volta para a forma original de onde ele foi esticado
- zero_grad
- redefinindo os gradientes antes do próximo passo, porque o backward adiciona a eles
Escreva Linear, MLP, zero_grad(params) e sgd_step(params, lr) como descrito. MLP([64, 32, 10], rng) cria duas camadas Linear com uma ReLU entre elas e nenhuma depois da última.
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.