Encontre e corrija o bug plantado
Por que isso importaOs piores bugs em machine learning não travam. Eles treinam, um pouco pior do que deveriam, e ninguém percebe. Um gradient check os encontra em segundos.
A seu colega reescreveu o código de gradiente do estúdio para torná-lo mais rápido: suspect_grads. Você não consegue lê-lo, como acontece com frequência no trabalho real (uma biblioteca, a branch de um colega, código gerado). Treinado com ele, sua baseline ainda aprende: no plano padrão do curso a pontuação da linguagem é apenas cerca de 0.05 pior, e em imagens, com seed 0, ela até pontua mais alto. Ambos estão dentro do que um leitor descuidado chama de ruído. Algo nele está errado.
Verifique do jeito que o Módulo 3 ensinou: mude um peso por uma pequena quantidade, meça a mudança na loss e compare com a inclinação que o código afirma. Faça isso para 5 entradas de cada W1, b1, W2 e b2 em um modelo pequeno (largura 8, um batch de 16), escolhidas entre as entradas cuja inclinação afirmada não é zero (com entradas one-hot, a maioria das inclinações de W1 é exatamente 0, e uma verificação ali não prova nada). Meça a loss em float64 com studio.loss64 e um nudge de 1e-4; considere um erro relativo acima de 0.01 como errado.
Palavras e símbolos nesta lição
- baseline
- a execução simples contra a qual cada mudança é medida, sobre as mesmas sementes
- verificação de gradiente
- comparando a inclinação que seu código calcula com a inclinação medida ao ajustar um peso
Escreva check(grad_fn) retornando, para cada um de 'W1', 'b1', 'W2', 'b2', o maior erro relativo sobre 5 entradas. Defina wrong para os nomes ordenados cujo erro está acima de 0.01, e cause para uma frase: o que no backward pass fica onde os gradientes errados estão, e o que provavelmente foi descartado lá. Depois escreva fixed_grads você mesmo (o forward pass é m.forward; a loss e sua inclinação são studio.loss_and_dout). Então treine sua baseline (seed 0) com cada um e imprima ambas as pontuações.
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.