Conteúdo do curso Lição 60 de 246 · Módulo 4: Seu próprio motor de autograd
Módulo 4: Seu próprio motor de autograd

Aponte o verificador para o seu motor

Por que isso importa Um motor com uma regra errada vai treinar, lenta e mal, e você pode nunca saber. De agora em diante, cada nova operação é verificada antes de ser usada.

O verificador do seu Módulo 3 mexeu nos arrays NumPy. Aqui, mexa no data de um Tensor no lugar, reconstrua o cálculo e compare com o que backward deixou em .grad.

A receita: (1) construa a saída e chame backward() uma vez para obter os gradientes do motor. (2) Para cada entrada e cada item, mude data para cima e para baixo, reconstrua e leia o valor da saída. (3) Relate o maior erro relativo.

Resumo Nunca confie em uma nova regra reversa até que ela tenha passado em uma verificação.

Palavras e símbolos nesta lição
Tensor
Aqui: um array mais seu gradiente mais os Tensors de onde ele veio
.grad
o gradiente da perda final em relação a este Tensor
unbroadcast
somando um gradiente de volta ao formato de onde ele foi esticado
Sua vez

Escreva engine_check(build, inputs): build() retorna um Tensor escalar calculado a partir dos Tensors na lista inputs. Retorne o maior erro relativo entre os gradientes do engine e os nudged. Redefina o grad de cada entrada para zeros antes de chamar backward. O teste oculto planta três bugs no engine, um de cada vez; seu checker deve reportar acima de 1e-3 para cada um, e abaixo de 1e-6 para o engine correto.

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.