Conteúdo do curso Lição 239 de 246 · Módulo 23: Estúdio de conclusão: um card de modelo que você pode rodar
Módulo 23: Estúdio de conclusão: um card de modelo que você pode rodar

Encontre e corrija o bug plantado

Por que isso importaOs piores bugs em machine learning não travam. Eles treinam, um pouco pior do que deveriam, e ninguém percebe. Um gradient check os encontra em segundos.

A seu colega reescreveu o código de gradiente do estúdio para torná-lo mais rápido: suspect_grads. Você não consegue lê-lo, como acontece com frequência no trabalho real (uma biblioteca, a branch de um colega, código gerado). Treinado com ele, sua baseline ainda aprende: no plano padrão do curso a pontuação da linguagem é apenas cerca de 0.05 pior, e em imagens, com seed 0, ela até pontua mais alto. Ambos estão dentro do que um leitor descuidado chama de ruído. Algo nele está errado.

Verifique do jeito que o Módulo 3 ensinou: mude um peso por uma pequena quantidade, meça a mudança na loss e compare com a inclinação que o código afirma. Faça isso para 5 entradas de cada W1, b1, W2 e b2 em um modelo pequeno (largura 8, um batch de 16), escolhidas entre as entradas cuja inclinação afirmada não é zero (com entradas one-hot, a maioria das inclinações de W1 é exatamente 0, e uma verificação ali não prova nada). Meça a loss em float64 com studio.loss64 e um nudge de 1e-4; considere um erro relativo acima de 0.01 como errado.

Palavras e símbolos nesta lição
baseline
a execução simples contra a qual cada mudança é medida, sobre as mesmas sementes
verificação de gradiente
comparando a inclinação que seu código calcula com a inclinação medida ao ajustar um peso
Sua vez

Escreva check(grad_fn) retornando, para cada um de 'W1', 'b1', 'W2', 'b2', o maior erro relativo sobre 5 entradas. Defina wrong para os nomes ordenados cujo erro está acima de 0.01, e cause para uma frase: o que no backward pass fica onde os gradientes errados estão, e o que provavelmente foi descartado lá. Depois escreva fixed_grads você mesmo (o forward pass é m.forward; a loss e sua inclinação são studio.loss_and_dout). Então treine sua baseline (seed 0) com cada um e imprima ambas as pontuações.

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.