Conteúdo do curso Lição 46 de 246 · Módulo 3: Neurônio para MLP
Módulo 3: Neurônio para MLP

Um verificador de gradiente que você usará em todo o curso

Por que isso importa Um gradiente errado não causa erro. O treinamento apenas vai mal silenciosamente. Um gradient checker detecta o erro em segundos, e você usará este em cada módulo.

A ideia é o nudge do Módulo 2, feito para cada peso: mude o peso i para cima e para baixo por h, meça a perda em ambas as vezes e divida a diferença por 2h. Compare com o gradiente da sua fórmula.

O quão próximo é próximo?

Use o erro relativo: |a - b| dividido pelo maior entre |a| e |b| (ou 1e-8 se ambos forem minúsculos). Abaixo de 1e-6 é uma aprovação; acima de 1e-3 quase sempre significa um bug.

Verificação de gradiente: comparando um gradiente analítico (da sua fórmula) com um numérico (de nudging).

Resumo Árbitro lento mas confiável. Use antes de confiar em qualquer novo gradiente.

Palavras e símbolos nesta lição
taxa de aprendizado (lr)
quão grande cada training step é
verificação de gradiente
comparando sua fórmula de gradiente com uma estimativa de empurrrar e medir
Sua vez

Escreva numeric_grad(f, w, h=1e-5) (w é um array NumPy de qualquer formato; retorne um array do mesmo formato) e grad_check(f, grad, w) retornando o maior erro relativo. Aqui f(w) pega o array de pesos e retorna a perda como um único número, e grad é um array (o gradiente da sua fórmula em w, já calculado), não uma função. Não mude w permanentemente. Para visitar cada posição de um array de qualquer formato, for idx in np.ndindex(w.shape): fornece cada tupla de índice em turnos. O teste oculto fornece ao seu verificador três gradientes sutilmente errados; cada um deve marcar acima de 1e-3.

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.