Conteúdo do curso Lição 63 de 246 · Módulo 4: Seu próprio motor de autograd
Módulo 4: Seu próprio motor de autograd

Gate: adicione uma nova operação (IA desligada)

Por que isso importa Adicionar uma operação, com sua regra de retropropagação, e verificá-la, é exatamente o que você fará para cada nova camada na Leg 3. Aqui você faz isso sozinho. Já conhece este módulo? Você pode fazer este portão primeiro, antes das outras lições: passá-lo marca este módulo como concluído e abre o próximo.

IA desligada. Adicione tanh, exp e log ao seu motor, cada um com sua regra reversa. Calcule a inclinação local de cada um você mesmo (inclinações do Módulo 2, e verifique cada uma com nudging antes de confiar nelas).

Palavras e símbolos nesta lição
Tensor
Aqui: um array mais seu gradiente mais os Tensors de onde ele veio
.grad
o gradiente da perda final em relação a este Tensor
unbroadcast
somando um gradiente de volta para a forma de onde ele foi esticado
zero_grad
redefinindo os gradientes antes do próximo passo, porque o backward adiciona a eles
Sua vez

Escreva os três métodos em Tensor. O teste oculto verifica o gradiente de uma fórmula usando todos os três em novas entradas.

IA desligada: sem tutor, dicas ou solução resolvida nesta. Apenas seu próprio pensamento.

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Código · roda no seu navegador
Saída

        

Seu progresso é contado anonimamente. Mude isso